离线编译 onnxruntime-with-tensortRT 1.15

已于 2024-01-26 11:50:14 修改
阅读量1.1k 收藏 19
点赞数 18
文章标签： c++ ai
于 2024-01-23 21:32:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41565920/article/details/135788452
版权
本文详细记录了一台CentOS 7系统下，配备NVIDIA 4090显卡的开发机进行离线编译ONNXRuntime 1.15与TensorRT 8.6.1.6的过程。编译过程中遇到的问题包括TensorRT版本不匹配、patch命令缺失、protobuf的GLIBCXX版本不兼容、以及TensorRT源码中弃用函数导致的编译错误。通过手动修改cmake文件忽略弃用警告、安装缺失依赖和设置环境变量，最终成功编译并安装了ONNXRuntime的GPU版本。
摘要由CSDN通过智能技术生成

记录为centos7的4090开发机离线编译onnxruntime的过程，因为在离线的环境，所以踩了很多坑。

https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html
这里根据官网的推荐安装1.15 版本的onnx
在这里插入图片描述
因为离线环境，所以很多都是要自己手动编译安装的
onnx 源码 1.51
cmake 3.26.6 (本地环境的3.16不可以)
Python 3.8.12
cuda 11.8
cudnn 8.97.29
patch 2.7.6
TensorRT 8.6.1.6
gcc11(要求gcc>7)

patch是onnx给他的某些依赖库打补丁用的，centos中yum install patch即可，这里本地只能自己编译
python是因为系统自带的python只有可执行文件，编译过程需要头文件和python的库文件

压缩包+安装路径的截图如下
在这里插入图片描述
在这里插入图片描述
对应的环境变量设置如下


export PATH=/home/users/zyx/cmake26_install/bin:$PATH
export PATH=/home/users/zyx/python3.8/bin:$PATH
export LD_LIBRARY_PATH=/home/users/zyx/python3.8/lib:$LD_LIBRARY_PATH
export C_INCLUDE_PATH=/home/users/zyx/python3.8/include:$C_INCLUDE_PATH
最低0.47元/天 解锁文章
Zip-List
关注
centos7 arm服务器编译安装onnxruntime-gpu
YY007H的博客
02-19 830
ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎，但在arm服务器上，onnxruntime只有CPU版的，GPU版的没有，因此需要自行去编译GPU版本的才可以。
onnxruntime-1.5.2.zip
12-04
https://github.com/microsoft/onnxruntime/releases 方便下载
在 Python 和 C++ 环境下安装和使用 ONNX Runtime
CDBmax的博客
08-03 861
对于 GPU 版本的 ONNX Runtime，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。通过上述步骤和示例代码，您可以在 Python 和 C++ 环境下安装并使用 ONNX Runtime 进行模型推理。《windows端可以用 vs编辑器配置相应的头文件、库文件》《这部分可以去B站有很多教学视频讲的更详细》
ONNX Runtime 安装和配置指南
gitblog_07350的博客
09-13 728
ONNX Runtime 安装和配置指南 onnxruntime microsoft/onnxruntime: 是一个用于运行各种机器学习模型的开源库。适合对机器学习和深度学习有兴趣的人，特别是在开发和部署机器学习模型时需要处理各种不同框架和算子的人。特点是支持多种机器学习框架和算子，包括 TensorFlow、PyTo...
vs2019离线安装OnnxRuntime
大鱼的博客
12-29 3610
onnx作为一个非常优秀的跨平台的深度学习工具，其他框架训练的模型均可在上进行使用部署，作为cpu平台部署的利器，因为不像gpu平台，英伟达提供了tensorrt进行假如部署 这里是在win10上面进行安装编译这个平台 不过，由于网络问题，根本没法在vs2019的nuget里面检索到onnx 于是只能选择离线的安装方式 具体也不复杂 （1）去下载安装包https://www.nuget.org/ 检索onnx 下载红色框出来的部分，具体下载也很简单，点击就能看到 点击就会出现下载链.
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
JLGao的博客
04-11 4万+
onnx模型部署环境创建
onnxruntime-1.9.0-cp38-cp38-linux_armv7l.whl.zip
06-10
onnxruntime-1.9.0-cp38-cp38-linux_armv7l.whl.zip
onnxruntime-win-x64-gpu-1.18.0.zip
06-10
这个“onnxruntime-win-x64-gpu-1.18.0.zip”压缩包包含了针对Windows 64位平台的GPU优化版ONNX Runtime库，版本为1.18.0。它特别设计用来利用GPU的并行计算能力加速深度学习模型的推理过程。 首先，让我们详细了解...
onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip
06-22
在压缩包内的文件“onnxruntime_gpu-1.18.0-cp38-cp38-linux_aarch64.whl”是一个Python的whl（wheel）文件，它是预编译的Python包格式，可以直接用pip安装，无需编译源代码。这个文件包含了ONNX运行时的GPU版本，...
onnxruntime-win-x64-gpu-cuda12-1.18.0.zip
06-10
这个“onnxruntime-win-x64-gpu-cuda12-1.18.0.zip”文件是针对Windows 64位平台的GPU优化版本，包含了ONNX Runtime的库文件以及必要的头文件，使得开发者能够在支持CUDA 12的NVIDIA GPU上加速模型推理。 首先，让...
onnxruntime-win-x64-gpu-1.14.0
06-09
标题中的“onnxruntime-win-x64-gpu-1.14.0”指的是ONNX Runtime的Windows 64位GPU版本，版本号为1.14.0。ONNX Runtime是一个高性能的推理引擎，主要用于运行经过训练的机器学习模型，它支持多种框架如TensorFlow、...
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
onnxruntime-linux-x64-gpu-1.16.2.tgz
11-17
此“onnxruntime-linux-x64-gpu-1.16.2.tgz”压缩包包含了针对Linux平台上x64架构的ONNX Runtime库，特别是针对GPU加速的版本。这个库不仅包括了必要的动态链接库（.so文件），还提供了头文件（.h文件）以便开发者在...
ONNX Runtime(ORT) C++ Windows 深度学习模型部署简易教程
qq_41822101的博客
04-12 4923
之前介绍了，发现我的模型比较特殊（实现的太烂了），使用TensorRT推理不能得到正确的结果，使用ORT部署成功了，因此分享一下ORT的部署过程。
C++和PytorchOnnxRuntime使用方法(附代码)
iiiiiiimp的博客
10-10 5393
Pytorch和C++OnnxRuntime使用方法写在前面Pytoch onnxruntime使用方法C++ onnxruntime使用方法写在后面 写在前面 最近有个需求要将Pytorch训练好的模型迁移到C++上去使用，再网上查了一些资料结合上自己的实际情况最终使用onnxruntime迁移成功。借此机会给大家分享一下，若有写的不对的地方请大家批评指正！下面给大家看看运行结果 这是Pytorch的onnxruntime运行时间 这是C++的onnxruntime运行时间，感觉两者速度是差不多的~可能
onnxruntime配置OpenVINO-EP后端推理环境
weixin_42904656的博客
01-09 1411
当然也提供了dockerfile，在~/onnxruntime-1.16.2/dockerfiles中包含Dockerfile.openvino-centos7文件，可以按照。安装完成后，环境中的openvino版本可能过低导致onnxruntime编译报错，可以手动升级一下Openvino版本到2023.1即可；在实际测试中发现onnxruntime的1.16.0中存在bug，导致编译不过去，这里选择已解决bug的1.16.2版本；同样也会有很多因为网络导致的一些依赖包无法下载的情况，可以尝试手动下载；
onnxruntim的使用方法
qq_44089890的博客
05-09 6134
ONNX Runtime 是一个用于高效推理 ONNX 模型的开源引擎。ONNX 是一种开放的深度学习模型交换格式，可以用于将深度学习模型从一个框架转换到另一个框架，从而实现跨平台和跨框架的模型部署和推理。ONNX Runtime 提供了一个高度优化的推理引擎，可在多种硬件平台上以低延迟和高吞吐量运行 ONNX 模型。
onnxruntime安装与使用（附实践中发现的一些问题）
热门推荐
qq_43673118的博客
03-05 7万+
关于onnxruntime的一些基本参考链接： onnxruntime官方文档 将pytorch模型转换为onnx模型并用onnxruntime进行推理(Pytorch官方文档) 一、onnxruntime安装 (1)使用CPU 如果只用CPU进行推理，通过下面这个命令安装。【如果要用GPU推理，不要运行下面这个命令】 pip install onnxruntime (2)使用GPU 安装命令为： pip install onnxruntime-gpu 安装 onnxruntime-gpu 注意事项
onnxruntime安装
最新发布
qq_30061245的博客
11-04 236
在安装onnxruntime时，如果直接运行“pip install onnxruntime-gpu”安装的是最新版的onnxruntime-gpu，且对应的是的（CUDA 12.x）。这样很有可能导致CUDA版本不对应导致GPU用不了。
onnxruntime-cpu源码编译
09-13
ONNXRuntime-CPU是Microsoft开源的高性能深度学习推理引擎的一部分，它专注于CPU上的运行。源码编译ONNXRuntime-CPU通常涉及以下几个步骤： 1. **获取源码**：首先，你需要从GitHub下载ONNXRuntime的官方仓库，地址通常是https://github.com/microsoft/onnxruntime。 2. **安装依赖**：在开始编译前，确保你的系统上已经安装了必要的编译工具，如Git、CMake、 Ninja 和 Visual Studio（对于Windows）或 GCC 和 CMake（对于Linux/Unix）。此外，需要安装CUDA和cuDNN（如果模型包含GPU计算部分）。 3. **配置构建**：创建一个新的目录作为构建区域，并进入该目录。使用CMake来生成构建配置，例如`cmake -S . -B build -DCMAKE_BUILD_TYPE=Release`，这会为你选择的平台生成一个Release版本的构建。 4. **编译**：执行`ninja -j <number_of_threads>`命令来编译源代码，`<number_of_threads>`是你希望使用的并行线程数。 5. **安装**：编译完成后，你可以通过`ninja install`将库和二进制文件安装到指定位置，比如`make install`。 6. **验证**：安装后，你可以通过运行内置的测试程序检查构建是否成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值