onnxruntime
文章平均质量分 54
pytorch/onnx/tensorRT
高亮1989
这个作者很懒,什么都没留下…
展开
-
修改onnx的输入,使其支持批量预测
在上一篇文章中C#使用onnxruntime进行预测,我展示了如何使用C#去读取一个resnet50的onnx模型,并且进行图像分类的预测。但我们把这个模型应用到实际项目中时,可能还存在这样一个问题:有时我们需要把多个图像同时送入模型,但此时该模型只能输出第一个图像的结果,而对其他的图像视而不见。这是因为该模型的输入batch是1,每次只能进行一张图像的识别。这里,我们就需要修改模型的输入,使其能够满足多个图像同时识别的需求。 修改输入的代码如下,resnet50-v2-7...原创 2021-07-21 10:53:14 · 4845 阅读 · 3 评论 -
C#使用OnnxRuntime进行Resnet50分类(支持GPU)
在深度学习部署环节中,基于C#的部署资料很少。本文展示了如何使用C#来部署一个基于Resnet50的图像分类任务。 本文的代码来自OnnxRuntime自带的示例。这里我已经把代码和深度学习模型文件整理好了,可以直接下载:代码及深度学习模型onnx文件下载连接 首先,我们需要配置GPU运行环境(如果使用CPU可以省略这一步骤): 1. 安装Nvidia显卡驱动、CUDA、cudnn。并且CUDA和Cudnn的版本最好满足对应关系,否则...原创 2021-07-19 15:40:19 · 5126 阅读 · 0 评论 -
ONNXRuntime与PyTorch运行时间对比
在网上看到一些对比ONNXRuntime与PyTorch运行效率的文章,很多人运行的结果展示出ONNX可以提升几倍的运行效率,那么究竟有没有这么神奇呢,我来试一试。 系统:Ubuntu18.04 CPU: Intel8750H 显卡:2070 模型选择最常用的ResNet50import torchimport torchvision.models as models# importmodel = m...原创 2021-06-25 14:59:45 · 8560 阅读 · 9 评论