pytorch 模型部署

于 2024-09-05 09:43:20 发布
阅读量943 收藏 4
点赞数 4
文章标签： pytorch AI模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenwiehuang/article/details/141920366
版权

AI模型部署基本步骤

在训练好模型后，需要将模型进行部署，一般情况下，AI模型部署基本步骤有：

  • 获取模型文件
  • 对模型进行转换，也就是所谓的parse或者convert
  • 针对转换后的模型进行优化，可能涉及很多优化步骤
  • 在特定平台上运行转化后的模型，保障模型的精度、性能

常见的模型部署推理框架：

  • Caffeine，纯c++编写
  • libtorch(torchscript)： pytorch的c++版。pytorch训练出来的模型，经员工torch.jit.trace或者torch.jit.script可以导出为.pt格式，随用通过libtorch中的API加载运行。一般结合TensorRT来部署，TensorRT负责简单卷积层等操作部分，libtorch负责后处理等细小复杂op部分。
  • TensorRT，可以再NVIDIA各种GPU硬件平台下运行的c++推理框架。 在GPU服务器上部署的话，TensorRT是首选；
  • openVINO， 在英特尔CPU端(也就是我们常用的x86处理器)部署首选它
  • NCNN/MNN/TNN/TVM，在移动端部署的推理框架，据说NCNN为首选，因其简单、直观明了。
  • paddlepaddle：国产不错的训练和推理框架；

AI部署中提速方法

上述AI模型部署步骤也提到，对模型进行优化，有哪些优化点呢？

  • 模型结构
  • 剪枝
  • 蒸馏
  • 稀疏化训练
  • 量化训练
  • 算子融合、计算图优化
  • 底层优化
1. 模型结构

模型结构主要体现在更快更强的网络结构，比如ResNet相比于VGG，CenterNet相比于YOLOv3。这块没研究透，后续再探；

2. 剪枝

在大模型的基础上，对模型通道或者模型结构进行有目的地修剪，剪掉对模型推理贡献不是很重要的地方，保障精度下降很少或者几乎不变。

3. 蒸馏

先用大网络训练，然后再用大网络调教小网络，使小网络接近大网络的精度。

4. 稀疏化

就是随机将tensor中的部分元素置为0，比如常见的dropout，附带正则化作用的同时也减少了模型的容量，从而加快了模型的推理速度。

5. 量化训练

量化训练是在INT8精度的基础上对模型进行量化。简称QTA(Quantization Aware Training)。量化后的模型在特定CPU或者GPU上相比FP32、FP16有更高的速度和吞吐，也是部署提速方法之一。

模型训练后的转换方式

西木风落
关注
【pytorch】模型的搭建保存加载
feifei
06-17 2万+
使用pytorch进行网络模型的搭建、保存与加载，是非常快速、方便的。 搭建ConvNet 所有的网络都要继承torch.nn.Module，然后在构造函数中使用torch.nn中的提供的接口定义layer的属性，最后，在forward函数中将各个layer连接起来。 下面，以LeNet为例： class LeNet(nn.Module): def __init__(self):
pytorch模型部署
m0_44982764的博客
11-19 3492
Pytorch使用torchserve部署模型比较方便和简单，也方便管理。但是由于内网服务器系统的原因，无法使用torchserve。所以选择flask框架写webapi的方式，来调用模型。 这里首先将模型保存未onnx格式，然后使用onnx运行时调用。 import json import re import logging import cv2 import torchvision.transforms as T import numpy as np import torch import os
Pytorch : 模型部署
Shilong的博客
03-28 3240
将模型导出为torchscript或onnx，使用libtorch C++API部署或Onnx Runtime部署
如何用flask部署pytorch模型
豆芽菜
09-30 1万+
From: https://zhuanlan.zhihu.com/p/35879835 随着深度学习越来越火，各种框架也层出不穷，如何训练一个深度学习模型变得越来越简单。然而在实际的工业场景中，我们往往更加关注如何部署一个已经训练好的模型。 在这一点上，tensorflow做得非常好，提供了tensorflow serving来帮助我们非常方便地部署到工业场景下。众所周知，PyTorch的一个...
用PyTorch部署模型
小白学视觉
05-04 2134
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者：Francesco Zuppichini编译：ronghuaiyang导读演示了使用PyTorch最近发布的新工具torchserve来进行PyTorch模型的部署。最近，PyTorch推出了名为torchserve.的新生产框架来为模型提供服务。我们看一下今天的roadmap：1、使用Docke...
如何将pytorch模型部署到安卓
m0_67391683的博客
06-22 4476
这篇文章演示如何将训练好的pytorch模型部署到安卓设备上。我也是刚开始学安卓，代码写的简单。环境：pytorch版本：1.10.0pytorch_android支持的模型是.pt模型，我们训练出来的模型是.pth。所以需要转化才可以用。先看官网上给的转化方式： 这个模型在安卓对应的包： 注:pytorch_android_lite版本和转化模型用的版本要一致，不一致就会报各种错误。目前用这种方法有点问题，我采用的另一种方法。转化代码如下： 对应的包： 定义模型文件和转化后的文件路径。load模型。这里要
将pytorch模型部署到服务器（自己电脑）flask
11-02
后端：flask+polar+pytorch 后端采用flask，把自己的电脑作为服务器，开放5000端口 使用polar内网穿透： 具体代码和文件：（一个app.py，一个imagenet_class_index.json,使用cors解决跨域问题）
三维目标检测：（五）如何将pytorch模型部署到C++工程中及pytorch模型转libtorch模型常见的问题.pdf
12-04
### 知识点一：将PyTorch模型部署到C++工程中 #### 为何需要将PyTorch模型部署到C++工程中？ 1. **性能考量**：Python脚本由于全局解释器锁（GIL）的存在，在多线程环境中并不是最高效的，尤其是在实时或高性能...
OnnxRuntime 将pytorch模型部署到C++并推理 ubuntu18.04
最新发布
coral_55u的博客
10-08 258
安装OnnxRuntime c++源码参考下方博客，但运行的时候有一个问题。将pytorch模型部署到C++并推理，参考如下链接。我在运行 sudo ./build.sh 会提醒我。所有源码打包至百度云盘，有需要自取。
PyTorch基本用法(七)——模型的保存与加载
SnailTyan
09-20 1万+
PyTorch基本用法(七)——模型的保存与加载
如何部署pytorch模型？
qq_15821487的博客
01-18 6244
https://zhuanlan.zhihu.com/p/344364948添加链接描述 使用 PyTorch 训练好了模型，如何部署到生产环境提供服务呢？ 有 Web 开发经验的小伙伴可能首先想到的是用 HTTP 框架（例如 Flask）进行简单的封装，做一个简单的 HTTP 接口来对外提供服务。但既然是生产，那还免不了考虑性能、扩展性、可运维性等因素。另外，做好这个服务还要求开发人员具备良好的 Web 后端开发技术栈。好在 PyTorch 已经给我们提供了一套统一的标准来实现这些，也就是接下来要介绍的开
Pytorch模型部署 - Libtorch(crnn模型部署)
a1040193597的博客
03-21 6850
Pytorch模型部署 - Libtorch 简介 libtorch是facebook提供的一套C++推理接口库，便于工业级别部署和性能优化。 安装： libtoch+opencv联合编译，这里采用libtorch-1.4(cpu)+opencv4.1． 可能出现的问题 ibtoch,opencv联合编译项目时，报错Undefined reference to cv::imread(std:...
pytorch的部署——把pytorch模型集成到so库
Haward
08-04 9646
前沿 需要pytorch1.0版本及以上，linux环境下进行，借助cmake编译 1.编写保存pytorch模型代码 //main.py import torch class MyModule(torch.jit.ScriptModule): def __init__(self, N, M): super(MyModule, self).__init__() ...
c++调用pytorch模型并使用GPU进行预测
热门推荐
u010397980的博客
04-21 2万+
pytorch很好用，但是真实部署还是使用c++较多，因此需要用c++调用训练好的pytorch模型。参考官方示例https://github.com/apachecn/pytorch-doc-zh/blob/master/docs/1.0/cpp_export.md安装libtorch。但是官方示例中并没有使用真实的例子，且使用的是cpu版本的。 下面用一个真实的例子并用gpu，本示例的所有程...
PyTorch模型部署建议方案
Clement
03-13 4123
在这个存储库中，我将分享一些关于在生产环境中部署基于深度学习的模型的有用的注释和参考资料。 Convert PyTorch Models in Production: PyTorch Production Level Tutorials [Fantastic] The road to 1.0: production ready PyTorch PyTorch 1.0 tracing JIT an...
Pytorch 模型tensorrt部署v1
debug_moner的专栏
05-18 1万+
1. 目录 文章目录1. 目录2. 主要内容2.1 准备阶段2.2 主要代码 2. 主要内容 为了提高神经网络模型的推理速度,Nvidia 推出了 Tensorrt 网络前向加速器. 简单的来说,训练好一个神经网络模型,只需要将模型通过tensorrt部署就会获得更快的推理速度. Tensorrt中支持FP32,FP16,INT8数据类型,其中FP32与FP16在精度上的损失很小,INT8量化后的...
PyTorch 模型部署
03-04
PyTorch 是一个深度学习框架，其中的模型部署分为两个主要方向：模型转换和模型部署。 模型转换是指将 PyTorch 模型转换为其他框架所支持的模型格式，例如 ONNX、TensorFlow 等。这种转换可以方便模型在不同框架之间的部署和使用。 模型部署是指将 PyTorch 模型部署到生产环境中，例如移动设备、服务器、云服务等。这种部署需要考虑模型大小、模型推理速度、模型的可靠性和安全性等因素。 对于模型转换，可以使用 PyTorch 提供的 torch.onnx 模块将模型转换为 ONNX 格式，也可以使用第三方库，例如 MMdnn，将 PyTorch 模型转换为其他框架的模型格式。 对于模型部署，PyTorch 提供了一些工具和库，例如 TorchServe 和 TorchScript。TorchServe 可以帮助用户将 PyTorch 模型部署到生产环境中，支持多种协议和部署模式。TorchScript 可以将 PyTorch 模型转换为脚本形式，以便在 C++ 和 Python 等环境中使用，同时也可以提高模型的性能和可移植性。 除了以上提到的工具和库，还有一些第三方库也可以用于 PyTorch 模型的部署，例如 Flask、Django 等 Web 框架，以及 TensorFlow Serving 等其他部署工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值