使用onnxruntime推理模型报错

最新推荐文章于 2024-06-14 15:00:00 发布
最新推荐文章于 2024-06-14 15:00:00 发布
阅读量499 收藏 11
点赞数 11
分类专栏： 深度学习模型推理 文章标签： 深度学习 机器学习 pytorch 图像处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46460816/article/details/136222603
版权

前言：我的环境是：cuda11.0+cudnn8.0.5，然后下载的是onnxruntime1.17.0

调试代码每次都是  ort_session->Run这里报错。

然后看到了这个

下载自己适合的版本，程序正常。

以后还是认真看官方的文档，涨了一次大教训！！！

刘一哈
关注
  • 11
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pyonnx-example:使用python实现基于onnxruntime的一些模型推断
03-12
使用python实现基于onnxruntime推理框架的深度学习模型的推理功能。 可以将onnx模型转换为大多数主流的深度学习推理框架模型，因此您可以在部署模型之前测试onnx模型是否正确。 注意：此处的模型由pytorch 1.6训练...
onnxruntime-win-x64-1.14.1
05-05
onnxruntime-win-x64-1.14.1推理库（CPU+GPU），c++版本，其中包含include，lib，dll动态链接库三种文件；
在win10上cuda12.1+tensorrt8.6+vs2019环境下编译onnxruntime1.17（在3060显卡上对yolov8s fp32部署fps达到142.8）
a486259的博客
12-25 2663
onnxruntime官方在cuda12出来一年后都没有发布支持cuda12的onnxruntime版本，故此博主在win10上cuda12.1+tensorrt8.6+vs2019环境下自行编译onnxruntime-gpu 1.17版本，可以生成python包与c++库。当在cuda12环境上运行onnxruntime-gpu时总会出现以下报错使用博主编译的库后，基于python对yolov8s以fp32进行部署，含nsm推理为11ms，不含预计为7ms，fps可达142.8。进行下载。
ONNX：C++通过onnxruntime使用.onnx模型进行前向计算【下载的onnxruntime是编译好的库文件，可直接使用】
u013250861的博客
11-13 7608
利用onnx和onnxruntime实现深度框架使用C++推理进行服务器部署，模型推理的性能是比python快很多的。
【已解决】from .onnxruntime_pybind11_state import * # noqa ImportError: DLL load failed: %1 不是有效的 Win32
m0_57021623的博客
03-18 1470
可能是版本不兼容，直接使用‘pip install onnxruntime’安装时，默认安装了当前最新的版本1.71.1。当你定义了把pip加入了环境变量之后，如果你有多个Python环境时，最好不要直接。来安装包，因为这样极有可以你在指定位置安装时不生效。今天在安装onnxruntime时发生了错误。所以卸载了最新版，安装了指定版本1.11.0。
谷歌Colab，Cuda12下安装onnxruntime-gpu！
TonyNotes的博客
01-19 1860
这个问题折腾了好一会儿，记录一下！Colab悄悄的吧Cuda升级到了CUDA12。但是Onnxruntime并没有。目前官方版为1.16.3 仅支持Cuda11.8。如果你想在Colab上使用ONNX就会遇到.so报错，无法调用GPU了。下面记录下解决方法和过程。
安装onnxruntime报错解决
热门推荐
qq_43306998的博客
06-08 1万+
对于onnxruntime出现以下错误 1.当环境是python3.10，通过pip install onnxruntime安装报错，是因为python3.10版本适配不叫onnxruntime了，叫ort-nightly。因此要通过pip install ort-nightly安装。 选自：https://github.com/microsoft/onnxruntime/issues/116802.假如是python3.10以下安装报错，则就是下载wheel文件不对。应在网站：https://pypi.o
使用ONNX Runtime推理模型.pdf
04-15
使用ONNX Runtime推理模型.pdf
onnxruntime-inference-examples:使用ONNX Runtime进行机器学习推理的示例
04-10
此回购已使用初始模板填充，以帮助您入门。 请确保更新内容，以为社区建设创造良好的体验。 作为该项目的维护者，请进行一些更新： 改进此README.MD文件可提供出色的体验 使用有关该项目的支持经验的内容更新...
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
算法部署_基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法_附项目源码_优质项目实战
腾讯云服务器部署onnxruntime-gpu经验总结
轻舟已过万重山的博客
02-24 2621
解决腾讯云cuda路径找不到的问题，从而使用cuda加速onnxruntime推理。
【ONNXRuntime】Win10 GPU环境 ONNXRuntime下载与VS开发配置
豆芽菜
04-12 1万+
ONNXRuntime下载 下载地址：Releases · microsoft/onnxruntime (github.com) 在下载地址找到对应版本，历史版本在Assets点开折叠后可以看到，可下载内容如下，如果需要支持GPU需要下载对应版本。 也可以通过指定版本的地址直接定位到想要的版本，例如1.8.0 https://github.com/microsoft/onnxruntime/releases/tag/v1.8.0 GPU环境...
windows下的onnxruntime版本问题
weixin_40970506的博客
03-31 1万+
onnxruntime-gpu==1.1.0 版本：cuda10.0+cudnn7.３ 参考链接： https://github.com/microsoft/onnxruntime/issues/2894 onnxruntime-gpu==1.2.0 版本：cuda10.1+cudnn7.6 版本不对会报错： ImportError: cannot import name 'get_all_...
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 381
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
Python学习从0开始——Kaggle深度学习002
最新发布
哈哈哈哈
06-14 626
与所有机器学习任务一样，我们从一组训练数据开始。训练数据中的每个示例都由一些特征(输入)和预期目标(输出)组成。训练网络意味着调整其权重，使其能够将特征转化为目标。例如，在80种谷物的数据集中，我们想要一个网络，它可以获取每种谷物的“糖”、“纤维”和“蛋白质”含量，并对该谷物的“卡路里”进行预测。如果我们可以成功地训练一个网络来做到这一点，它的权重必须以某种方式表示这些特征和训练数据中表达的目标之间的关系。除了训练数据，我们还需要两个东西：一个衡量网络预测好坏的“损失函数”。
神经网络 torch.nn---nn.RNN()
qq_45452617的博客
06-13 714
的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。x_t是上一层时刻t的隐状态，或者是第一层在时刻t的输入。weight_ih_l[k] – 第。weight_hh_l[k] – 第。bias_ih_l[k] – 第。bias_hh_l[k] – 第。偏置， 可学习，形状是。h_t是时刻t的隐状态。
深度学习简单概述
SQL__Learning的博客
06-09 877
理论上来说，参数越多的模型复杂度越高、容量越大，这意味着它能完成更复杂的学习任务。但复杂模型的训练效率低，易陷入过拟合。随着云计算、大数据时代的到来，计算能力的大幅提高可以缓解训练的低效性，训练数据的大幅增加可以降低过拟合风险。因此，以深度学习（Deep Learning，DL）为代表的复杂模型迎来关注。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）
如何使用onnxruntime推理onnx模型
05-01
使用onnxruntime进行推理onnx模型的步骤如下： 1. 安装onnxruntime库：首先需要安装onnxruntime库，可以通过pip命令进行安装，例如：`pip install onnxruntime`。 2. 加载模型：使用onnxruntime的`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值