【TensorRT】TensorRT踩过的坑

已于 2022-04-15 16:20:04 修改
阅读量5.2k 收藏 5
点赞数 4
分类专栏： AI/ML/DL 掉过的坑 文章标签： tensorrt
于 2022-04-15 16:15:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dou3516/article/details/124196761
版权

1、TensorRT发布的模型（engine）不能跨平台使用

例如linux发布的模型不能在windows下用。

2、TensorRT发布的模型需要在相同GPU算力（compute capability）的情况下使用

否则会导致compute capability不匹配问题，例如算力6.1发布的模型不能在7.5上用。

 

查询显卡算力：CUDA GPUs | NVIDIA Developer

3、TensorRT发布的模型需要在匹配的CUDA和cudnn环境下用

TensorRT本身有严格的CUDA/cudnn版本兼容细分，虽然部分环境版本浮动可以有一定的适用性，但可能导致速度不稳定等问题，推荐使用同发布模型匹配的CUDA和cudnn环境。

CUDA小版本不一致会遇到警告：

[W] [TRT] TensorRT was linked against cuBLAS/cuBLAS LT 11.3.0 but loaded cuBLAS/cuBLAS LT 11.2.1

there2belief
关注
专栏目录
TensorRT：设备的算力，以及支持的精度
微风❤水墨
08-20 1432
1：核对GPU的计算能力 地址：https://developer.nvidia.com/cuda-gpus For example, GTX1060 is 6.1, RTX 2070is 7.5. 2：核对硬件支持的精度 地址：https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#hardware-precision-matrix 6.1 supports FP32 and INT8. 7.5..
tensorRT（一）| tensorRT如何进行推理加速？
张伟的专栏
08-06 690
tensorRT（一）| tensorRT如何进行推理加速？
tensorRT学习 部署跨平台移植方便
weixin_44523062的博客
09-14 806
https://www.bilibili.com/video/BV1ky4y167TG/?spm_id_from=333.788.recommend_more_video.3 我这里使用的是nano，与xavier差一些，但是工具包都是一样的，速度慢一些 0GPU加速原理，tensorRT可用于GPU和专用集成电路芯片ASIC等 FPGA接近IO电路，不用译码过程所以执行速度块 https://www.cnblogs.com/qyun/p/6618160.html GPU中一个逻辑控制单元对应多个计算
运行调用TensorRT程序报错 Version tag does not match. Internal Error (Engine deserialization failed.) 参考解决方法
最新发布
qq_39779233的博客
07-10 512
运行调用TensorRT程序报错 Version tag does not match. Internal Error (Engine deserialization failed.) 参考解决方法
【TensorRT在Jetson平台的跨设备引擎警告】
shallowink的博客
09-26 1546
TRT] [W]不建议在不同型号的设备上使用引擎计划文件，这可能会影响性能甚至导致错误。这个警告通常出现在使用预先生成的 .engine 文件进行推理时。尽管它看起来令人担忧，但在大多数情况下，如果你确定硬件和软件环境没有发生变化，你可以安全地忽略这个警告。
TensorRT中的常见问题
专注于人工智能领域的小何尚
02-16 1521
以下部分有助于回答有关 NVIDIA TensorRT 典型用例的最常见问题。
安装torch2trt 和TensorRT 踩坑记录
下大禹了的博客
05-08 1万+
以前一直以为pytorch模型转tensorrt的话，需要先转onnx才行，突然发现还有torch2trt这个东东，可以直接转torch模型为tensorrt。 安装torch2trt torch2trt下载地址：https://github.com/NVIDIA-AI-IOT/torch2trt readme上有安装说明，按他说的干就是，安装中出了一个问题，在执行sudo python setu...
TensorRT部署时算力不匹配解决方法
Christo的博客
07-05 3374
背景 在自己的电脑上训练模型，然后生成engine模型并封装好放在另一台电脑上运行时，出现了以下报错 The engine plan file is generated on an incompatible device , expecting compute 6.1 got compute 7.5，please rebuild 解决办法： 这是由于硬件算力不匹配导致的，所以在一个硬件平台生成的engine模型，部署到另外一台设备时也要相同的硬件环境，如果想让自己的模型部署在不同的硬件平台，则需要将.
libtorch，TenSorRt跨平台编译一二
爱上coding的博客
12-24 2078
1. windows软件配置 CUDA，CUDNN，libtorch，opencv，CMake 笔者使用：cuda10.1, cudnn7.6.5, libtorch 1.3.0（cuda10.1） 注意：libtorch版本>1.3.0时，需要支持c++14的编译器编译 2. 输入 模型pt文件（模型文件需要转化，pt->wts），linux下的cmakelist工程文件 详情见yolov3工程 3. cudnn安装 cudnn下载之后不用安装，解压即可。 下载解压缩后，将其文件夹下cnd
Tensorrt部署时，显示算例不匹配报错的解决方法
sangwz
12-15 3544
环境： C++ Tensorrt7.0.11 + cuda100 + cudnn7.6 报错信息： The engine plan file is generated on an incompatible device , expecting compute 6.1 got compute 7.5，please rebuild 解决方法： 通过升级cuda到10.2解决，tensorrt需要重新下载部署； ...
Yolov3使用TensorRT加速（一）
weixin_42271252的博客
06-27 2710
近期想要用TensorRT加速一下自己训练过的yolov3模型，谁知道处处是坑，因此记录下来踩过的这些坑希望对大家有帮助。（也许你遇不到我的这些奇葩bug，那是最好不过了） 参照该大神的博客：** 这一步的过程其实就是模型转换，得到yolov3.cfg、yolov3.weights(用官方模型举例)转换成的ylov3.prototxt和yolov3.caffemodel. 前期的步骤不再详细介绍...
一文掌握Pytorch-onnx-tensorrt模型转换
热门推荐
m0_38043555的博客
03-07 2万+
一文掌握Pytorch-onnx-tensorrt模型转换pytorch转onnx pytorch转onnx 对于实际部署的需求，很多时候pytorch是不满足的，所以需要转成其他模型格式来加快推理。常用的就是onnx，onnx天然支持很多框架模型的转换， 如Pytorch,tf,darknet,caffe等。而pytorch也给我们提供了对应的接口，就是torch.onnx.export。下面具体到每一步。 首先，环境和依赖：onnx包，cuda和cudnn，我用的版本号分别是1.7.0, 10.1
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2199
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
ubuntu18.04环境下TensorRT安装+python3.8
fl_2016的博客
07-28 1503
0 说明 本人安装TensorRT环境踩了一些坑，记录一下。主要针对出现的安装问题进行解决。正常安装步骤基本安装他人写的即可。 1 正常情况 正常按照官网或者参考网站安装即可。 官网：https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-tar 参考 ：https://blog.csdn.net/zong596568821xp/article/details/86077553 上述如果可
在启动tensorrt server服务时提示"libopencv_highgui.so not found"
为之则易，不为则难
07-26 1532
在使用tensorrt server的ensemble models功能时，笔者把预处理打包成了一个.so文件，分类模型使用的是.pb文件，但是当使用nvidia-docker命令启动trt server镜像时，报了错误"libopencv_highgui.so.2.4 not found"，笔者踩了一些坑，终于找到了问题的原因，这里记录下来，方便以后随时翻看。 预处理的.so调用了opencv库...
关于tensorRT的失败使用总结
Henry_Avery的博客
08-25 1963
TensorRT真难用啊
[转载】使用TensorRT和Jetson TX1 / TX2部署深度学习推理网络和深度视觉原语的指南 学习二
qq_29591593的博客
07-03 280
https://blog.csdn.net/liu5226310/article/details/80581447
C++/Python 调用 Pytorch -＞ ONNX -＞ TensorRT 模型转换与部署
～勿据散客～的博客
12-03 3301
系统环境：网上相关流程很多，我就不重复了 可以参考Pytorch分类模型转onnx以及onnx模型推理 或者直接看Pytorch官方怎么干的。ONNX Githubonnxruntime调用onnx模型推理时有一个provider的参数，可选 [‘TensorrtExecutionProvider’, ‘CUDAExecutionProvider’, ‘CPUExecutionProvider’]，不知道是还需要其他设置还是怎样，'TensorrtExecutionProvider’和’CPUExecuti
【TensorRT】关于8.6版本开始的硬件兼容特性的一些试错
一个努力写代码的小菜鸟，目前主要从事图像算法，目标检测/分割，模型量化与部署的工作
01-24 1041
在工业应用中，边缘端的部署通常需要发布到不同的硬件，在自己的电脑上生成的模型，往往会因为与其他设备的显卡型号不同架构不同的问题，导致其他设备无法部署主机上导出的engine模型或者trt模型。因此，8.6版本的tensorRT发布了一项新的可能，可以支持基于不同显卡设备之间的兼容。，笔者案例中的情况是使用3060显卡的主机导出的模型，想发布到1660显卡的设备上，由于3060显卡已是基于。架构的，因此这个设备兼容性并不支持，只能通过在1660显卡的主机上重新导出engine或者trt模型再调用。
tensorrt教程
09-12
您好！关于TensorRT的教程，我可以给您一些指导。 1. 安装TensorRT：首先，您需要下载并安装TensorRT。您可以从NVIDIA官方网站上获取适用于您的系统的TensorRT版本。 2. 构建TensorRT引擎：TensorRT的核心是构建和优化神经网络模型以在特定硬件上进行高效推理。您可以使用TensorRT提供的API来加载、优化和推理您的模型。 3. 导入模型：将您的模型从深度学习框架（如TensorFlow、PyTorch等）中导出，并将其转换为TensorRT可以处理的格式（如ONNX）。TensorRT支持各种常见的深度学习模型。 4. 创建TensorRT引擎：使用TensorRT API加载您的模型，并创建一个TensorRT引擎。引擎是TensorRT优化过的模型表示，可用于进行高性能推理。 5. 执行推理：将输入数据提供给TensorRT引擎，并获取输出结果。您可以使用TensorRT API来管理输入和输出缓冲区，并处理推理过程中的中间结果。 6. 优化和部署：根据您的需求，您可以进一步优化TensorRT引擎，以提升推理性能。您还可以将优化后的引擎部署到您的目标设备上进行实际应用。 这只是一个简要的概述，TensorRT的使用涉及到更多细节和技术。我建议您查阅TensorRT官方文档和示例代码，以获取更详细的指导和实践经验。希望对您有所帮助！如果您有任何进一步的问题，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值