AI-Serving 使用教程

AI-Serving 使用教程

ai-servingServing AI/ML models in the open standard formats PMML and ONNX with both HTTP (REST API) and gRPC endpoints项目地址:https://gitcode.com/gh_mirrors/ai/ai-serving

1、项目介绍

AI-Serving 是一个灵活、高性能的推理系统，专为机器学习和深度学习模型设计，适用于生产环境。它提供了与 PMML 和 ONNX 模型的开箱即用集成，并且可以轻松扩展以服务其他格式的模型。AI-Serving 支持 HTTP (REST API) 和 gRPC 端点，使得部署和管理 AI/ML 模型变得简单高效。

2、项目快速启动

安装

使用 Docker 是最简单直接的方式来安装 AI-Serving：

docker pull autodeployai/ai-serving:latest
docker run -d -p 9090:9090 -p 9091:9091 autodeployai/ai-serving:latest

验证安装

安装完成后，可以通过以下命令验证服务是否正常运行：

curl http://localhost:9090/health

3、应用案例和最佳实践

使用 PMML 模型

假设我们有一个 PMML 模型文件 single_iris_dectree.xml，可以通过以下步骤进行部署和使用：

1. 上传模型：

   curl -X PUT --data-binary @single_iris_dectree.xml -H "Content-Type: application/xml" http://localhost:9090/models/iris_model
   

2. 预测：

   curl -X POST -H "Content-Type: application/json" -d '{"input": [5.1, 3.5, 1.4, 0.2]}' http://localhost:9090/models/iris_model/predict
   

使用 ONNX 模型

假设我们有一个 ONNX 模型文件 model.onnx，可以通过以下步骤进行部署和使用：

1. 上传模型：

   curl -X PUT --data-binary @model.onnx -H "Content-Type: application/octet-stream" http://localhost:9090/models/onnx_model
   

2. 预测：

   curl -X POST -H "Content-Type: application/json" -d '{"input": [5.1, 3.5, 1.4, 0.2]}' http://localhost:9090/models/onnx_model/predict
   

4、典型生态项目

Kubernetes 部署

AI-Serving 可以轻松部署在 Kubernetes 上，实现大规模的 AI/ML 模型部署和管理。以下是一个简单的 Kubernetes 部署示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ai-serving
spec:
  replicas: 3
  selector:
    matchLabels:
      app: ai-serving
  template:
    metadata:
      labels:
        app: ai-serving
    spec:
      containers:
      - name: ai-serving
        image: autodeployai/ai-serving:latest
        ports:
        - containerPort: 9090
        - containerPort: 9091

通过以上步骤，您可以快速上手并使用 AI-Serving 进行 AI/ML 模型的部署和管理。

ai-servingServing AI/ML models in the open standard formats PMML and ONNX with both HTTP (REST API) and gRPC endpoints项目地址:https://gitcode.com/gh_mirrors/ai/ai-serving