onnx-tensorrt安装

已于 2022-01-22 13:48:45 修改
阅读量1.4k 收藏 2
点赞数
分类专栏： 编程工具 文章标签： TensorRT ONNX onnx-tensorrt
于 2021-11-22 17:19:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37605642/article/details/121450715
版权

一、参考资料

onnx-tensorrt官方仓库
onnx-tensorrt安装

二、重要说明

  • onnx-tensorrt与tensorRT版本对齐；
  • onnx-tensorrt与protobuf版本对齐；
    在这里插入图片描述

三、准备工作

1. 安装Protobuf

1. 下载地址
[Protocol Buffers v3.19.1](https://github.com/protocolbuffers/protobuf/releases)

2. 解压文件
tar -zxvf protobuf-all-3.12.3.tar.gz

3. 更改安装路径
cd protobuf-3.12.3/
./autogen.sh
./configure --prefix=/home/yichao/360Downloads/protobuf

4. 编译，安装
make -j 12
make check
make install

5. 设置环境变量
export PATH="/home/yichao/360Downloads/protobuf/bin:$PATH"

source ~/.bashrc

make[2]: Leaving directory '/home/yichao/360Downloads/protobuf-3.19.1/src'
make  check-TESTS
make[2]: Entering directory '/home/yichao/360Downloads/protobuf-3.19.1/src'
make[3]: Entering directory '/home/yichao/360Downloads/protobuf-3.19.1/src'
PASS: protobuf-test
PASS: protobuf-lazy-descriptor-test
PASS: protobuf-lite-test
PASS: google/protobuf/compiler/zip_output_unittest.sh
PASS: google/protobuf/io/gzip_stream_unittest.sh
PASS: protobuf-lite-arena-test
PASS: no-warning-test
============================================================================
Testsuite summary for Protocol Buffers 3.19.1
============================================================================
# TOTAL: 7
# PASS:  7
# SKIP:  0
# XFAIL: 0
# FAIL:  0
# XPASS: 0
# ERROR: 0
============================================================================
make[3]: Leaving directory '/home/yichao/360Downloads/protobuf-3.19.1/src'
make[2]: Leaving directory '/home/yichao/360Downloads/protobuf-3.19.1/src'
make[1]: Leaving directory '/home/yichao/360Downloads/protobuf-3.19.1/src'

2. 安装tensorRT

参考博客 【Ubuntu版】TensorRT安装教程

3. 安装onnx

onnx v1.8.1

git clone https://github.com/onnx/onnx.git
cd onnx

# 查看版本
git tag

# 切换分支
git checkout v1.8.1

git submodule update --init --recursive
python setup.py install

# 验证是否安装成功
python -c "import onnx"

四、关键步骤

git clone --recursive https://github.com/onnx/onnx-tensorrt.git
mkdir build
cd build
cmake .. -DTENSORRT_ROOT=<tensorrt_install_dir>
OR
cmake .. -DTENSORRT_ROOT=<tensorrt_install_dir> -DGPU_ARCHS="61"
make -j8
sudo make install

举例：

# 下载
git clone --recursive https://github.com/onnx/onnx-tensorrt.git

# 查看分支
git tag

# 切换分支，与tensorRT版本一致
git checkout release/8.0

mkdir build
cd build

cmake .. -DTENSORRT_ROOT=/home/yichao/360Downloads/TensorRT-8.0.1.6 -DGPU_ARCHS="75"

make -j6
sudo make install

五、可能出现的问题

  • 缺少protoc

    CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:301 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:292 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:292 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:301 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:310 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:310 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:292 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:292 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:301 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:310 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:301 (relative_protobuf_generate_cpp)


CMake Error at third_party/onnx/CMakeLists.txt:277 (add_custom_command):
  Error evaluating generator expression:

    $<TARGET_FILE:protobuf::protoc>

  No target "protobuf::protoc"
Call Stack (most recent call first):
  third_party/onnx/CMakeLists.txt:310 (relative_protobuf_generate_cpp)

    错误原因：

解决办法：
下载protobuf，重新安装protobuf

    附录：系统各种环境变量

    #(动态库搜索路径) 程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/protobuf/lib/
#(静态库搜索路径) 程序编译期间查找动态链接库时指定查找共享库的路径
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/protobuf/lib/
#执行程序搜索路径
export PATH=$PATH:/usr/local/protobuf/bin/
#c程序头文件搜索路径
export C_INCLUDE_PATH=$C_INCLUDE_PATH:/usr/local/protobuf/include/
#c++程序头文件搜索路径
export CPLUS_INCLUDE_PATH=$CPLUS_INCLUDE_PATH:/usr/local/protobuf/include/
#pkg-config 路径
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/

  • 编译onnx失败

    File "setup.py", line 211, in run
    subprocess.check_call(build_args)
  File "/home/yichao/miniconda3/envs/tensorRT-efficientdet/lib/python3.7/subprocess.py", line 363, in check_call
    raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command '['/usr/bin/cmake', '--build', '.', '--', '-j', '6']' returned non-zero exit status 2.
花花少年
关注
专栏目录
ONNX-TensorRT安装教程
qq_36915686的博客
09-05 1520
找了很多的教程，针对这些教程和碰到的问题，整理了一下。 1. 主教程（***）：https://zhuanlan.zhihu.com/p/380950900 按照这个主教程一步一步的走，其中没有说gcc 8.2.0的安装教程，推荐一个：https://blog.csdn.net/fpcc/article/details/99698783 注：我使用的是anaconda的虚拟环境，创建的python3.7，所以其中的 pip install pycuda 操作 和 python setup.py ...
TensorRT部署避坑
最新发布
weixin_38582851的博客
07-23 286
tensorRT部署的坑
LINUX常用环境变量
dataowner的专栏
11-17 222
#(动态库搜索路径) 程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/protobuf/lib/ #(静态库搜索路径) 程序编译期间查找动态链接库时指定查找共享库的路径 export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/protobuf/lib/ #执行程序搜索路径 export PATH=$PATH:/usr/local/protobuf/bin
安装TensorRT及ONNX_tensorrt
uncle_ll的博客
08-11 1309
查看自身系统及相关软件版本 查看服务器系统： cat /proc/version 查看cuda版本： nvcc -version 查看cudnn版本： cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 安装TensorRT 从官方地址下载合适版本的TensorRT，基于此，本系统是ubuntu 16.04, cuda版本是10.0, cudnn版本是7.6.4. 因此，下载文件TensorRT 7.0.0.11 for U
tensorrt安装onnx安装
qq_27245699的博客
09-09 575
前期准备 在安装tensorrt之前，cuda和cudnn 以及显卡驱动都需要提前安装好，可参考如下： 安装驱动：https://blog.csdn.net/qq_27245699/article/details/107400935 cuda和cudnn安装：https://blog.csdn.net/qq_27245699/article/details/116560527 tensorrt下载与安装 TensorRT-7.0.0.11.Ubuntu-16.04.x86_64-gnu.cuda-
Onnx-TensorRT安装指南(踩坑记)
热门推荐
幸福回头的博客
08-07 1万+
首先要来到onnx-tensorrt的Github官网Github链接 下面就是步骤 git clone --recursive https://github.com/onnx/onnx-tensorrt.git mkdir build cd build cmake .. -DTENSORRT_ROOT=<tensorrt_install_dir&g...
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 ...
onnx-tensorrt：ONNX-TensorRT：ONNX的TensorRT后端
02-05
适用于ONNX的TensorRT后端 解析ONNX模型以使用执行。 另请参阅。 有关最近更改的列表，请参见 。 有关常见问题的列表，请参见 。 支持的TensorRT版本 Master分支上的开发适用于具有完整尺寸和动态形状支持的的...
yolov3-tiny-onnx-TensorRT.zip
04-01
在这个压缩包中，"yolov3-tiny-onnx-TensorRT-master"可能是一个GitHub项目的主分支，包含了以下内容： 1. `model.onnx`：YOLOv3 Tiny模型的ONNX文件，这是从PyTorch或其他支持ONNX导出的框架生成的原始模型。 2. `...
ONNX-TensorRT：用于ONNX的TensorRT后端-Python开发
05-25
ONNX-TensorRT：用于ONNX的TensorRT后端用于ONNX的TensorRT后端解析ONNX模型以与TensorRT一起执行。 另请参阅TensorRT文档。 受支持的TensorRT版本开发Master分支上的开发适用于具有完整尺寸和动态形状支持的...
安装onnx-tensorrt的艰辛之路
weixin_40232401的博客
02-07 4752
TensorRT-5.1.5.0 cudnn 7.5 cuda 9.0 python 3.6 onnx-tensorrt 5.1 onnx 1.4 protobuf 3.11.x（对于TensorRT和onnx-tensorrt 5/6/7 都需要protobuf 3.8.x版本及以上） googletest onnx-tensorrt onnx-tensorrt的安装 https:/...
Onnx_TensorRT离线安装过程记录
qq_33642342的博客
09-30 681
前言 这个项目感觉不是很完整，踩了不少坑,特此记录一下. 官方代码 我的环境: 系统 : RHEL8 C++ compiler version : 8.2.1 Tensorrt版本 : 6.0.5.1(想装7的，公司网络不行太难下载下来了;这个安装比较简单，可以查看其它人写的弄) GPU : P4000 搭建步骤 ~~git clone --recursive https://github.com/onnx/onnx-tensorrt.git~~ #离线便去掉 #将
onnx-tensorrt安装时遇到的问题
孟志彬的博客
07-15 1712
我使用的docker镜像是 nvcr.io/nvidia/tensorrt 19.03-py3 6053535b43bc 下载onnx-tensorrt最新master分支,使用cmake命令如下: cmake -DCUDA_INCLUDE_DIRS=/usr/local/cuda/include -DTENSORRT_ROOT=/opt/tensorrt .. -DGPU_ARCHS="61...
【TensorRT】Ubuntu16.04 + TensorRT-5.1.5.0 + ONNX-TensorRT 安装及 yolov3转onnx
zhaotun123的博客
08-16 2960
一、软硬件版本 已安装 Ubuntu 16.04 python 2.7.16 显卡: Tesla P4 cuda 9.0.176 cudnn 7.5 待安装 TensorRT-5.1.5.0 二、下载 从nvidia官网下载适用 cuda9.0 的 Tar 安装文件 TensorRT-5.1.5.0 三、安装 TensorRT-5.1.5.0 参考 nvidia官网安装教程 4.3 T...
Ubuntu下安装ONNX、ONNX-TensorRT、Protobuf和TensorRT
m0_51661400的博客
12-16 2817
在这篇博文中，我们详细介绍了如何在Ubuntu环境下安装ONNX、ONNX-TensorRT、Protobuf和TensorRT，并演示了如何将ONNX模型解析到TensorRT。
一文玩转pytorch转onnx-tensorRT ——（1）创建tensorRT层
daniaokuye的专栏
11-15 2605
基本说明 对c++，tensorRT提供了一个纯虚类的接口，通过实现类内的虚函数，就可以在tensorRT中运行自定义层。注意nvinfer1::IPluginV2和nvinfer1::IPluginCreator配合使用；nvinfer1::IPlugin和nvinfer1::IPluginFactory。后者是前者的再一次封装，IPluginV2相对于IPlugin来说，基本上一样，多几个函...
一文玩转pytorch转onnx-tensorRT ——（3）测试自定义的tensorRT层
daniaokuye的专栏
11-15 2277
层已经写完了，如何测试呢。可以直接去看下面的代码 代码说明： 如何编译在开头写出来了，直接用就可以了，当然不是。 首先是cub库，它是cuda函数的__share__函数的打包版。我的库放在了/home/user/package/cub-1.8.0下 用到了common，是tensorRT的示例文件，我直接搬过来用的，如果路径不对，修改到自己的common路径下 上面的common不是必须的...
jetson nano 安装onnx-tensorrt
A15768533126的博客
03-31 805
1.卸载原来的CMake和清除数据（若有）平台，选择Linux_aarch64版本。2.下载cmake安装包。JetsonNano属于。3.解压安装cmake。
Python 安装 ONNX Runtime （ORT）
u014260892的专栏
05-23 801
安装gpu版的 onnx runtime（cuda 11.x）：(默认安装适用于cuda 11.8 的onnx runtime)1. Python 安装 ONNX Runtime。
win10，onnx-tensorrt安装
05-20
安装onnx-tensorrt需要以下步骤： 1. 安装TensorRT：首先需要安装TensorRT，可以从NVIDIA官网下载适合自己系统的版本。安装后，将TensorRT的路径加入环境变量中。 2. 安装ONNX：可以使用pip命令安装ONNX，具体命令...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花花少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值