将算法推理函数封装成Restful API

前言

如果要快速构建一个算法应用，便于用户在线体验算法推理效果，采用gradio是个不错的选择。然而，要集成到业务程序中，比如要支持java等语言去调用（发送请求，获取到推理结果），此时便需要将算法推理函数封装成Restful API。这里，简单总结下快速封装Restful API的步骤。

假如有个需求：

业务端要做一个演示程序，里面包含一个目标检测算法，算法人员如何将自己跑在GPU服务器上的算法程序交付给业务人员呢？

解决思路：

将算法推理函数封装成Restful API；

如果算法推理用python实现，web框架可采用Flask或FastAPI；

将算法和服务运行环境封装到docker镜像中，通过docker-compose启动。

步骤

1、首先，确保安装了 FastAPI 和 Uvicorn：

pip install fastapi 
pip install uvicorn

2、创建一个 Python 文件（例如 main.py），

• 导入 FastAPI、Pydantic 和一些必要的模块：
• 定义 Pydantic 模型类，用于接收 POST 请求中的数据：
• 编写算法逻辑：
• 定义路由和处理函数，比如接收图片和字符串，并调用算法推理逻辑，返回算法推理结果：
• 使用 Uvicorn 启动应用程序：

from fastapi import FastAPI, UploadFile, File 
from pydantic import BaseModel 
app = FastAPI()

# 定义 Pydantic 模型类，用于接收 POST 请求中的数据：
class InferenceRequest(BaseModel): 
    image: bytes 
    text: str

# 编写算法推理逻辑，这里以一个简单的示例为例：
def perform_inference(image_data: bytes, text: str) -> str: 
    # 这里是你的算法推理逻辑，可以根据实际需求进行填充 
    return f"Received image with {len(image_data)} bytes and text: {text}"

# 定义路由接口和处理函数，接收图片和字符串，并调用算法推理逻辑：
@app.post("/predict") 
async def predict(data: InferenceRequest): 
    result = perform_inference(data.image, data.text) 
    return {"result": result}


# 使用 Uvicorn 启动应用程序：
if __name__ == '__main__':
    uvicorn.run(
        app='main:app',
        host='0.0.0.0',
        port=9898,
        reload=True
    )

3、docker-compose启动服务

docker-compose up -d --build 

docker-compose.yml 文件如下：

version: '3'
services:
  app_backend:
    image: {image name}:{image tag}
    volumes:
      - $PWD/app-backend:/app-backend
    ports:
      - 9898:9898
    restart: always
    command: python /app-backend/main.py

测试

现在，你可以使用任何 HTTP 客户端发送 POST 请求到 /predict 接口，并传递一张图片和一个字符串作为参数。记得将图片数据转换为字节流传输。以下是一个简单的示例代码，使用 Python 的 requests 库发送请求：

import requests

url = "http://localhost:9898/predict"
image_path = "path/to/your/image.jpg"
image_data = open(image_path, 'rb').read()
text_data = "phone"

data = {"image": image_data, "text": text_data}

response = requests.post(url, files={"data": ("data", json.dumps(data), "application/json")})
print(response.json())