DL模型部署经验一

最新推荐文章于 2023-12-01 22:41:32 发布

浪子私房菜

最新推荐文章于 2023-12-01 22:41:32 发布

阅读量971

点赞数

分类专栏：模型分布式部署tricks 文章标签：深度学习 python pytorch

本文链接：https://blog.csdn.net/niuxuerui11/article/details/127819405

版权

模型分布式部署tricks 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

本文详细介绍了深度学习模型的部署过程，从为何需要部署到具体步骤，包括环境配置、模型转换为ONNX格式以及使用ONNXRuntime进行推理。重点讲解了如何将PyTorch模型转换为ONNX模型并验证其正确性，最后通过ONNXRuntime运行模型并展示结果。模型部署的关键挑战在于环境配置和优化模型运行效率。

摘要由CSDN通过智能技术生成

step1. 使用任意一种DL框架搭建神经网络模型，并通过训练确定网络中的参数。
step2. 将模型结构和参数转换成一种只描述网络结构的中间表示
step3.用面向硬件的高性能编程框架(CUDA, OpenCL), 能够高效执行神经网络中算子推理引擎把中间表示转换为特定的文件格式，并在对应的硬件平台上高效执行。

4 实战模型部署

4.1 创建pytorch模型

step1: conda create -n python==3.6 pytorch_gpu
step2: conda  activate pytroch_gpu
step3: conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
step4: conda install pytorch torchvsion cpuonly -c pytorch
step5: pip install onnxruntion onnx opencv-python

4.2 创建一个DL网络模型结构

4.3 中间表示 – ONNX

把 PyTorch 的模型转换成 ONNX 格式的模型

x  = torch.randn(1, 3, 512, 512)

with torch.no_grad:
       torch.onnx_export(
       		model,
       		x,
       		"srcnn.onnx“，
       		opset_version=11,
       		input_names = ['input'],
       		output_name = ['output']
       )

其中，torch.onnx.export 是 PyTorch 自带的把模型转换成 ONNX 格式的函数。
参数说明：
model：要转换的模型
x：模型的任意一组输入
“srcnn.onnx”：导出的 ONNX 文件的文件名。
opset_version ： ONNX 算子集的版本。深度学习的发展会不断诞生新算子，为了支持这些新增的算子，ONNX会经常发布新的算子集，目前已经更新15个版本。我们令 opset_version = 11，即使用第11个 ONNX 算子集，是因为 SRCNN 中的 bicubic （双三次插值）在 opset11 中才得到支持。
input_names：输入tensor 的名称，后面会用。
output_names：输出tensor的名称，后面会用。

为什么需要为模型提供一组输入呢？ 这涉及到 ONNX 转换的原理。从 PyTorch 的模型到 ONNX 的模型，本质上是一种语言上的翻译。直觉上的想法是像编译器一样彻底解析原模型的代码，记录所有控制流。但我们通常只用 ONNX 记录不考虑控制流的静态图。因此，PyTorch 提供了一种叫做追踪（trace）的模型转换方法：给定一组输入，再实际执行一遍模型，即把这组输入对应的计算图记录下来，保存为 ONNX 格式。export 函数用的就是追踪导出方法，需要给任意一组输入，让模型跑起来。我们的测试图片是三通道，256x256大小的，这里也构造一个同样形状的随机张量。

验证onnx模型文件是否正确

import onnx

onnx_model = onnx.load('srcnn.onnx')
try:
       onnx.checker.check_model(onnx_model)
except Exception:
      print('Model incorrect')
else:
      print('Model correct')

其中， onnx.load 读取一个onnx模型， check_model 用于检查模型格式是否正确。

4.3 推理引擎 - ONNX Runtime

添加如下代码运行模型：

import cv2
import onnxruntion
import numpy as np

input_img = cv2.imread('1.png').astype(np.float32)
input_img = np.transpose(input_img, [2, 0, 1])
input_img = np.expand_dims(input_img, 0)

ort_session = onnxruntion.InferenceSession('srcnn.onnx')
ort_inputs = {'input' : input_img}
ort_output = ort_session.run(['output'], ort_inputs)[0]

ort_output = np.squeeze(ort_ouput, 0)
ort_output = np.clip(ort_output, 0, 255)
ort_output = np.transpose(ort_output, [1, 2, 0]).astype(np.uint8)

cv2.imwrite('1,png', ort_output)