模型部署onnx入门

于 2024-06-18 11:27:35 发布
阅读量641 收藏 8
点赞数 5
分类专栏： deployed AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40777649/article/details/139768260
版权
AI 同时被 2 个专栏收录
50 篇文章 3 订阅
订阅专栏
deployed
4 篇文章 0 订阅
订阅专栏

一、定义

1.定义
2. 环境安装
3. 案例
4. 可视化界面
5. 参考网址
6. 推理引擎 onnx Runtime 进行单张图片推理，本地部署
7. 推理引擎onnx Runtime 进行单张图片推理，调用摄像头获取画面
8. 推理引擎onnx Runtime 进行图片推理，调用摄像头获取画面
9. ModelInferBench 推理速度测试

二、实现

  1. 定义
    模型pytorch\ keras\ tensorflow\ pp飞桨 等训练框架
    onnx 标准化
    nvidia\ intel\ 高通\ 升腾 等硬件。 在这里插入图片描述
    深度学习框架------->中间件--------->推理引擎(不同设备，选择的推理引擎不同)，加速推理
    推理引擎：在这里插入图片描述
  2. 环境安装
    onnx 算子 网址https://onnx.ai/onnx/operators/
pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple
import onnx
print('ONNX 版本', onnx.__version__)
import onnxruntime as ort
print('ONNX Runtime 版本', ort.__version__)
  1. 案例
import torch
from torchvision import models

devices=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model=models.resnet18(pretrained=True)
model=model.eval().to(devices)

x=torch.randn((1,3,256,256)).to(devices)
output=model(x)
print(output.shape)
#pytorch onnx 格式转换
with torch.no_grad():
    torch.onnx.export(model,
                      x,
                      "resnet18_imagenet.onnx",   #导出的onnx 名称
                      opset_version=11,            #算子版本          https://onnx.ai/onnx/operators/
                      input_names=["input"],       #输入tensor 名称，自己起的
                      output_names=["output"]      #输出tensor 名称， 自己起的
                      )

#验证是否成功
import onnx
onnx_model=onnx.load("resnet18_imagenet.onnx")
onnx.checker.check_model(onnx_model)
print("无报错，转换成功")

  1. 可视化界面
    https://netron.app/ #浏览器打开
    导入对应的onnx 文件在这里插入图片描述

  2. 参考网址
    https://github.com/TommyZihao/Train_Custom_Dataset/blob/main/%E5%9B%BE%E5%83%8F%E5%88%86%E7%B1%BB/7-ONNX%20Runtime%E5%9B%BE%E5%83%8F%E5%88%86%E7%B1%BB%E9%83%A8%E7%BD%B2/1-Pytorch%E5%9B%BE%E5%83%8F%E5%88%86%E7%B1%BB%E6%A8%A1%E5%9E%8B%E8%BD%ACONNX/%E3%80%90Z%E3%80%91%E6%89%A9%E5%B1%95%E9%98%85%E8%AF%BB.ipynb
    https://zhuanlan.zhihu.com/p/498425043

  3. 推理引擎 onnx Runtime 进行单张图片推理，本地部署

import torch
import onnxruntime
import numpy as np
import torch.nn.functional as F
import pandas as pd

#onnxruntime 推理
ort_session=onnxruntime.InferenceSession("resnet18_imagenet.onnx")    #加载模型
x=torch.randn((1,3,256,256)).numpy()
ort_input={"input":x}
output=ort_session.run(["output"],ort_input)[0]   #推理
print(output.shape)

###########图像推理#########

from PIL import Image   #加载图片
img_pil=Image.open("banana1.jpg")
#img_pil.show()
#数据处理
from torchvision import transforms

test_transform=transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(256),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406],
                                         std=[0.229, 0.224, 0.225])
                                    ])

input_img=test_transform(img_pil)
input_tensor=input_img.unsqueeze(0).numpy()

ort_input={"input":input_tensor}
pred_logits=ort_session.run(["output"],ort_input)[0]
pred_logits=torch.tensor(pred_logits)

pred_softmax=F.softmax(pred_logits,dim=1)

#解析，取前n个
n=3
topn=torch.topk(pred_softmax,n)
pred_ids=topn.indices.numpy()[0]
conf=topn.values.numpy()[0]
print(pred_ids,conf)

#将id与字典对应
df=pd.read_csv("imagenet_class_index.csv")
id_to_labels={}
for idx,row in df.iterrows():
    id_to_labels[row["ID"]]=row["class"]  #英文

for i in range(n):
    class_name=id_to_labels[pred_ids[i]]
    confidence=conf[i]*100
    print(class_name,confidence)
  1. 推理引擎onnx Runtime 进行单张图片推理，调用摄像头获取画面
import torch
import onnxruntime
import numpy as np
import torch.nn.functional as F
import pandas as pd
from PIL import Image,ImageFont,ImageDraw
from torchvision import transforms
import matplotlib.pyplot as plt
#font=ImageFont.truetype("SimHei",32)


ort_session = onnxruntime.InferenceSession('resnet18_imagenet.onnx')

# 测试集图像预处理-RCTN：缩放裁剪、转 Tensor、归一化
test_transform = transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(256),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406],
                                         std=[0.229, 0.224, 0.225])
                                    ])


#调用摄像头   获取摄像头，传入0表示获取系统默认摄像头
import cv2
import time
cap=cv2.VideoCapture(1)
cap.open(0)    #打开摄像头
time.sleep(1)
success,img_bgr=cap.read()
cap.release()                   #关闭摄像头
cv2.destroyAllWindows()       #关闭图像接口
print(img_bgr.shape)

img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) # BGR转RGB
img_pil = Image.fromarray(img_rgb)
img_pil.show()

input_img=test_transform(img_pil)
input_tensor=input_img.unsqueeze(0).numpy()

#预测
ort_input={"input":input_tensor}
pred_logits=ort_session.run(["output"],ort_input)[0]
pred_logits=torch.tensor(pred_logits)
pred_softmax=F.softmax(pred_logits,dim=-1)

#topn 类别
n=5
topn=torch.topk(pred_softmax,k=n)
pred_ids=topn[1].cpu().detach().numpy().squeeze()
pred_conf=topn[0].cpu().detach().numpy().squeeze()

df=pd.read_csv("imagenet_class_index.csv")
id_to_labels={}
for idx,row in df.iterrows():
    id_to_labels[row["ID"]]=row["class"]  #英文

for i in range(n):
    class_name=id_to_labels[pred_ids[i]]
    confidence=pred_conf[i]*100
    print(class_name,confidence)

draw = ImageDraw.Draw(img_pil)
# 在图像上写字
for i in range(len(pred_conf)):
    pred_class = id_to_labels[pred_ids[i]]
    text = '{:<15} {:>.3f}'.format(pred_class, pred_conf[i])
    # 文字坐标，中文字符串，字体，rgba颜色
    draw.text((50, 100 + 50 * i), text, fill=(255, 0, 0, 1))
img = np.array(img_pil)  # PIL 转 array
plt.imshow(img)
plt.show()
  1. 推理引擎onnx Runtime 进行图片推理，调用摄像头获取画面
import torch
import onnxruntime
import numpy as np
import torch.nn.functional as F
import pandas as pd
from PIL import Image,ImageFont,ImageDraw
from torchvision import transforms
import matplotlib.pyplot as plt
import time
import cv2

#加载引擎
ort_session = onnxruntime.InferenceSession('resnet18_imagenet.onnx')

# 测试集图像预处理-RCTN：缩放裁剪、转 Tensor、归一化
test_transform = transforms.Compose([transforms.Resize(256),
                                     transforms.CenterCrop(256),
                                     transforms.ToTensor(),
                                     transforms.Normalize(
                                         mean=[0.485, 0.456, 0.406],
                                         std=[0.229, 0.224, 0.225])
                                    ])
#加载标签
df=pd.read_csv("imagenet_class_index.csv")
id_to_labels={}
for idx,row in df.iterrows():
    id_to_labels[row["ID"]]=row["class"]  #英文



def process_frame(img):
    '''
    输入摄像头拍摄画面bgr-array，输出图像分类预测结果bgr-array
    '''

    # 记录该帧开始处理的时间
    start_time = time.time()

    ## 画面转成 RGB 的 Pillow 格式
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  # BGR转RGB
    img_pil = Image.fromarray(img_rgb)  # array 转 PIL

    ## 预处理
    input_img = test_transform(img_pil)  # 预处理
    input_tensor = input_img.unsqueeze(0).numpy()

    ## onnx runtime 预测
    ort_inputs = {'input': input_tensor}  # onnx runtime 输入
    pred_logits = ort_session.run(['output'], ort_inputs)[0]  # onnx runtime 输出
    pred_logits = torch.tensor(pred_logits)
    pred_softmax = F.softmax(pred_logits, dim=1)  # 对 logit 分数做 softmax 运算

    ## 解析top-n预测结果的类别和置信度
    n = 5
    top_n = torch.topk(pred_softmax, n)  # 取置信度最大的 n 个结果
    pred_ids = top_n[1].cpu().detach().numpy().squeeze()  # 解析出类别
    confs = top_n[0].cpu().detach().numpy().squeeze()  # 解析出置信度

    ## 在图像上写中文
    draw = ImageDraw.Draw(img_pil)
    for i in range(len(confs)):
        pred_class = id_to_labels[pred_ids[i]]
        text = '{:<15} {:>.3f}'.format(pred_class, confs[i])
        # 文字坐标，中文字符串，字体，rgba颜色
        draw.text((50, 100 + 50 * i), text, fill=(255, 0, 0, 1))
    img = np.array(img_pil)  # PIL 转 array
    img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)  # RGB转BGR

    # 记录该帧处理完毕的时间
    end_time = time.time()
    # 计算每秒处理图像帧数FPS
    FPS = 1 / (end_time - start_time)
    # 图片，添加的文字，左上角坐标，字体，字体大小，颜色，线宽，线型
    img = cv2.putText(img, 'FPS  ' + str(int(FPS)), (50, 80), cv2.FONT_HERSHEY_SIMPLEX, 2, (255, 0, 255), 4,
                      cv2.LINE_AA)
    return img


import cv2
import time

# 获取摄像头，传入0表示获取系统默认摄像头
cap = cv2.VideoCapture(1)

# 打开cap
cap.open(0)

# 无限循环，直到break被触发
while cap.isOpened():       #捕获每一帧图片
    # 获取画面
    success, frame = cap.read()
    if not success:
        print('Error')
        break

    ## !!!处理帧函数
    frame = process_frame(frame)

    # 展示处理后的三通道图像
    cv2.imshow('my_window', frame)

    if cv2.waitKey(1) in [ord('q'), 27]:  # 按键盘上的q或esc退出（在英文输入法下）
        break

# 关闭摄像头
cap.release()

# 关闭图像窗口
cv2.destroyAllWindows()
  1. ModelInferBench 推理速度测试
    网址：https://github.com/zhangchaosd/ModelInferBench
云帆@
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ONNX教程
qq_33287871的博客
08-08 1474
一. 简介 ONNX （Open Neural Network Exchange）- 开放神经网络交换格式，作为框架共用的一种模型交换格式，使用 protobuf 二进制格式来序列化模型，可以提供更好的传输性能我们可能会在某一任务中将 Pytorch 或者 TensorFlow 模型转化为 ONNX 模型(ONNX 模型一般用于中间部署阶段)，然后再拿转化后的 ONNX模型进而转化为我们使用不同框架部署需要的类型，ONNX 相当于一个翻译的作用。典型的几个线路： Pytorch->ONNX->
tutorials:创建和使用ONNX模型的教程
04-29
教程 是一种开放标准格式，用于表示机器学习模型。 ONNX得到了许多支持，已在许多框架和工具中实现了该功能。 这些图像可方便您开始使用ONNX和本页上的教程 获取ONNX模型 预先训练的模型： 针对常见情况提供了许多预先训练的。 服务：基于云的服务会为您的数据生成自定义的ONNX模型（请参见下文） 转换各种框架中的模型（请参见下文） 服务 以下是可以输出为您的数据定制的ONNX模型的服务列表。 转换为ONNX格式 框架/工具 安装 教程 和onnx / onnxmltools 例子 Caffe2 caffe2软件包的一部分 例子 链条机 链接器 例子 认知工具包（CNTK） 内建的 例子 CoreML（苹果） onnx / onnxmltools 例子 凯拉斯 onnx / keras-onnx 例子 LibSVM onnx / onnxmltools 例子 轻型GB
探索ONNX.js：跨平台的机器学习推理框架
最新发布
gitblog_00010的博客
03-24 475
探索ONNX.js：跨平台的机器学习推理框架 项目地址:https://gitcode.com/microsoft/onnxjs ONNX.js 是微软开源的一个JavaScript库，它允许开发者在Web浏览器或者Node.js环境中直接运行ONNX（开放神经网络交换）模型。此项目的目标是打破AI模型部署的壁垒，让机器学习模型可以在任何有JavaScript环境的地方无缝运行。 ONNX简介 O...
PyTorch 1.0 中文官方教程：ONNX 现场演示教程
weixin_30502157的博客
02-03 356
译者：冯宝宝 本教程将向您展示如何使用ONNX将已从PyTorch导出的神经模型传输模型转换为Apple CoreML格式。这将允许您在Apple设备上轻松运行深度学习模型，在这种情况下，可以从摄像机直播演示。 什么是ONNX ONNX（开放式神经网络交换）是一种表示深度学习模型的开放格式。借助ONNX，AI开发人员可以更轻松地在最先进的工具之间移动模型，并选择最适合它们的组合。ONNX由合作...
【深度学习】ONNX模型快速部署【入门】
yangyu0515的博客
09-20 7913
【深度学习】快速部署ONNX模型【入门】
ONNX简明教程
热门推荐
Ericam_
03-16 2万+
前言 大家好，我是Ericam_ 由于项目需要，查阅了ONNX相关资料，整理了一篇小笔记吧~ 如有错误，欢迎指正 一. 简介     ONNX （Open Neural Network Exchange）- 开放神经网络交换格式，作为 框架共用的一种模型交换格式，使用 protobuf 二进制格式来序列化模型，可以 提供更好的传输性能我们可能会在某一任务中将 Pytorch 或者 TensorFlow 模型 转化为 ONNX 模型(ONNX 模型一般用于中间部署阶
C# ONNX使用入门教程
冰凌的博客
02-02 1505
4、观察此onnx文件的输入输出，其输入为1x1的数组，输出也是1x1的数组。同时注意到它的意义，输入是[[x]]，输出是[[y]]，于是我们可以开始编写C#程序了。2、NuGet中安装onnxruntime，由于只是简单入门介绍 ，这里我们选择cpu版本的onnx运行时安装即可，图中就是cpu的onnx运行时库。命令行直接运行它，过一会它训练完毕，就会给我们生成onnx文件，名称为linear.onnx。命令行直接运行它，过一会浏览器会直接显示出此onnx文件的推理图全过程参数。
ONNXRuntime部署Detic检测2万1千种类别的物体源码+模型(c++和python两个版本).zip
12-15
ONNXRuntime部署Detic检测2万1千种类别的物体源码+模型(c++和python两个版本).zipONNXRuntime部署Detic检测2万1千种类别的物体源码+模型(c++和python两个版本).zipONNXRuntime部署Detic检测2万1千种类别的物体源码+...
基于ONNXRuntime部署PP-YOLOE行人检测+HRNet人体骨骼关键点检测源码+模型.zip
12-15
基于ONNXRuntime部署PP-YOLOE行人检测+HRNet人体骨骼关键点检测源码+模型.zip 含c++版本和python版本 基于ONNXRuntime部署PP-YOLOE行人检测+HRNet人体骨骼关键点检测源码+模型.zip 含c++版本和python版本 基于ONNX...
用于手写数字识别的Demo，使用pyTorch训练Minist数据集，导出ONNX模型文件.zip
12-29
这大大提升了模型的可移植性和部署的灵活性。转换过程通常涉及到模型的导出和导入，以及模型验证，确保在不同框架下模型的行为一致。 在“pyTorchMinistLearn-main”这个目录下，可能包含的文件有训练脚本、模型...
基于ONNXRuntime部署3D人脸重建、人头姿态估计、人脸mesh项目源码+模型(python和c++两个版本).zip
01-06
基于ONNXRuntime部署3D人脸重建、人头姿态估计、人脸mesh项目源码+模型(python和c++两个版本).zip基于ONNXRuntime部署3D人脸重建、人头姿态估计、人脸mesh项目源码+模型(python和c++两个版本).zip基于ONNXRuntime...
onnxjs:ONNX.js
05-11
ONNX.js ONNX.js是一个Javascript库，用于在浏览器和Node.js上运行ONNX模型。 ONNX.js已采用WebAssembly和WebGL技术为CPU和GPU提供优化的ONNX模型推理运行时。 为什么选择ONNX型号 （ONNX）是用于表示机器学习模型的开放标准。 ONNX的最大优势在于，它允许跨不同的开源AI框架进行互操作，这本身为AI框架的采用提供了更大的灵活性。 请参阅。 为什么选择ONNX.js 借助ONNX.js，Web开发人员可以直接在浏览器上对经过预训练的ONNX模型进行评分，从而减少服务器与客户端之间的通信并保护用户隐私，并提供免安装和跨平台的浏览器内ML体验。 ONNX.js可以在CPU和GPU上运行。 为了在CPU上运行，采用以接近自然的速度执行模型。 此外，ONNX.js利用提供“多线程”环境来并行化数据处理。 经验评估显示，通过充分
ONNXjs实现使用JavaScript运行ONNX预训练深度学习模型
08-08
ONNX.js是一个Javascript库，用于在浏览器和Node.js上运行ONNX模型。
OLive:OLive（意味着ONNX上线）将模型转换，优化，正确性测试和性能调整集成到单个管道中，并输出具有ONNX运行时配置（执行提供程序+优化选项）的可用于生产环境的ONNX模型
05-05
OLive的意思是ONNX Go Live，它是一系列Docker映像，可自动执行ONNX模型的运输过程。 它将模型转换，正确性测试和性能调整集成到单个管道中，而每个组件都是独立的docker映像，并且可以扩展。 使用OLive的方法有...
java调用onnx模型_微软宣布开源ONNX.js，可在浏览器上运行ONNX模型
weixin_39888807的博客
12-22 582
ONNX.js是一个Java库，用于在浏览器和Node.js上运行ONNX模型。ONNX.js采用了WebAssembly和WebGL技术，为CPU和GPU提供优化的ONNX模型推理runtime。为何选择ONNX模型在开放式神经网络交换(Open Neural Network Exchange ，ONNX)是一个开放的标准，代表机器学习模型。ONNX的最大优势在于它允许跨不同开源AI框架的互操作...
onnx 跨框架的模型中间表达框架(onnx.js)
hxxjxw的博客
10-14 884
ONNX，Open Neural Network Exchange（开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。 ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模...
用pytorch训练图像分类器模型导出ONNX测试
牧野的博客
10-29 1万+
项目实现功能 1. 搭建一个简单的图片分类器，完成训练和测试 2. 转换pytorch的pth模型到ONNX格式，加载ONNX并测试 项目结构 images目录下存放训练和测试数据集，本例使用了kaggle竞赛的猫狗数据集，统一resize到了120*120大小；TrainTestConvertOnnx.py 是训练和测试代码，包括了pth模型到onnx的转换。训练在CPU和GP...
VS c++ onnxruntime 环境配置、onnx教程、部署推理模型、sklearn pkl模型转onnx、问题汇总
AIcar_lrm的博客
12-08 5035
VS c++ onnxruntime 环境配置、onnx教程、部署推理模型、sklearn pkl模型转onnx、问题汇总
飞桨PaddleNLP
07-27
对于飞桨PaddleNLP，我可以为您提供一些基本信息。飞桨PaddleNLP是一个基于飞桨（PaddlePaddle）深度学习平台的自然语言处理（NLP）工具库。它提供了丰富的预训练模型、数据处理工具和任务示例，帮助开发者快速构建、训练和部署自然语言处理模型。 PaddleNLP支持多种NLP任务，包括文本分类、序列标注、命名实体识别、机器翻译等。它提供了预训练模型，如BERT、ERNIE等，以及一些经典的NLP任务示例代码，让开发者能够快速上手和应用。 除了提供预训练模型和示例代码外，PaddleNLP还提供了一些数据处理工具，如分词、词向量等，方便开发者处理和准备文本数据。 总的来说，飞桨PaddleNLP是一个功能强大且易于使用的NLP工具库，适用于各种自然语言处理任务和应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值