flask部署神经网络模型

1.GET请求

GET请求把参数包含在url里,GET是获取数据的

2.POST请求

POST请求通过request body传递参数,用于修改服务器上的数据

3.flask部署模型api

图例中以cv的demo为例介绍,传入的参数为一个图片,也就是request.files,但是request.files传入的文件参数,不能直接被深度学习模型使用需要转换。

这里实例用到模型是yolov5,通过torch在github下载获取

3.1加载模型

model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)

3.2部署模型api

from flask import Flask,request,jsonify
app=Flask(__name__)
@app.route('/predict',methods=["GET","POST"])
def predict():
    if not request.method == "POST":
        return

    if request.files.get("image"):
        image_file = request.files["image"]
        print(image_file)
        image_bytes = image_file.read()

        img = Image.open(io.BytesIO(image_bytes))
        results=model(img)

        return jsonify(results)

3.3运行api接口

app.run(host="127.0.0.1",port=5005)

3.4模拟客户端请求request模型

curl -X POST -F image=@1.jpg http://127.0.0.1:5005/predict

详细的curl命令可以参考下面这个链接
curl 的用法指南 - 阮一峰的网络日志

转载于flask部署深度学习api接口_姜君泽的博客-CSDN博客

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch是一个用于搭建和训练深度学习模型的开源框架。在模型训练完成后,模型部署是将训练好的模型应用于实际生产环境的过程。下面我将简单介绍PyTorch模型部署的一般步骤和方法。 首先,将训练好的模型保存为文件,通常为扩展名为`.pt`或`.pth`的文件。这个文件包含了模型的结构和参数。保存模型可以使用`torch.save()`函数。 要部署PyTorch模型,我们可以选择多种方法。一种常见的方法是使用模型加载器,比如TorchScript。TorchScript可以将PyTorch模型转换为一个脚本,这样我们可以在不依赖PyTorch的情况下运行模型。转换为TorchScript可以使用`torch.jit.trace()`或`torch.jit.script()`函数。 另一种常见的方法是使用ONNX(开放神经网络交换)格式。ONNX是一个开放标准的模型格式,可以在不同的深度学习框架之间共享模型。我们可以使用PyTorch提供的`torch.onnx.export()`函数将PyTorch模型导出为ONNX格式。 在部署模型之前,我们需要选择一个合适的推理引擎。推理引擎是一个用于加载和运行模型的软件库。常用的推理引擎包括PyTorch自带的`torchserve`和`torchscript`,还有其他第三方库,比如TensorRT、ONNX Runtime等。 最后,将部署好的模型连接到实际应用中。这可以通过API接口、命令行工具等方式完成。PyTorch官方提供了`torchserve`工具,可以用于快速搭建一个用于模型推理的服务器。我们还可以使用Flask、Django等框架将模型集成到Web应用中。 总的来说,PyTorch的模型部署是将训练好的模型应用于实际生产环境的过程。关键步骤包括保存模型、选择合适的部署方法、选择推理引擎、连接到实际应用。以上这些步骤可以根据特定的需求和情况进行调整和扩展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值