win10 tensorrt安装 踩坑记录

已于 2022-09-18 21:16:25 修改
阅读量8.5k 收藏 18
点赞数 3
分类专栏： cuda 文章标签： 深度学习 pytorch 人工智能
于 2021-12-10 18:43:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/121860556
版权

目录

tensorrt c++常见网络开源实现：

win10 python tensorrt安装

cudnn下载

1. 添加环境变量，安装依赖项：

安装依赖项：

nvcc.exe所在目录加入环境变量：

2. 安装uff、graphsurgeon和tensorrt

3. 复制tensorrt的库到cuda安装目录

python import报错

1.DLL load failed while importing tensorrt: 找不到指定的程序

2.Could not locate zlibwapi.dll. Please make sure it is in your library path

3.Could not load library cudnn_cnn_infer64_8.dll. Error code 193

4. TensorRT was linked against cuDNN 8.4.1 but loaded cuDNN 8.2.1

vs项目报错：

cuda环境变量：

查看cuda cudnn版本：

python onnx转tensorrt报错

c++推理报错

1.cuda11.3 tensorrt 8.2.18版本报错：

1.serializationVersion failed.Version tag does not match

tensorrt c++常见网络开源实现：

https://github.com/wang-xinyu/tensorrtx

win10 python tensorrt安装

EA 版本代表抢先体验（在正式发布之前）。
GA 代表通用性。 表示稳定版，经过全面测试。
这边建议你用TensorRT最新版本的 GA release 呢

下载地址：

TensorRT SDK | NVIDIA Developer

需要注册，登录。

选择跟cuda对应的版本：

tensorrt8.4 压缩比比较高，cuda需要11.6，值得试试。

cudnn 版本选择与下载

cuDNN下载网址：https://developer.nvidia.com/rdp/cudnn-download  

选择历史版本进行下载

下面两个版本都报错：

cudnn-windows-x86_64-8.4.1.50_cuda11.6-archive

cudnn-windows-x86_64-8.4.0.27_cuda11.6-archive

cudnn-windows-x86_64-8.5.0.96_cuda11-archive

cudnn-windows-x86_64-8.3.3.40_cuda11.5-archive

转trt模型时报错：

Could not load library cudnn_cnn_infer64_8.dll. Error code 193

成功的组合：

1. cuda11.3 与 TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4

这个版本生成的fp16模型更小，推理时间更稳定。

2. cuda11.3 与 TensorRT-8.2.1.8.Windows10.x86_64.cuda-11.4.cudnn8.2

cudnn 是8.2.1版本。

应该是成功了。

tensorrt版本：

TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4

我测试用的8.2.18 cuda11.3


1. 添加环境变量，安装依赖项：

PATH：D:\it\TensorRT-7.1.3.4\lib   

安装依赖项：

pip install cython

安装pycuda：

pycuda安装_AI视觉网奇的博客-CSDN博客

nvcc.exe所在目录加入环境变量：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin


2. 安装uff、graphsurgeon和tensorrt


cd D:\Software\TensorRT-7.1.3.4\graphsurgeon
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl

cd ../uff
pip install uff-0.6.9-py2.py3-none-any.whl

cd ../python

pip install tensorrt---xxx.whl


3. 复制tensorrt的库到cuda安装目录

比如：

D:\BaiduNetdiskDownload\TensorRT-8.4.1.5.Windows10.x86_64.cuda-11.6.cudnn8.4\lib

dll拷贝到：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin

lib拷贝到：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3\lib

python import报错

1.DLL load failed while importing tensorrt: 找不到指定的程序

解决方法：

看上面第3步， 3. 复制tensorrt的库到cuda安装目录

2.Could not locate zlibwapi.dll. Please make sure it is in your library path

下载预编译版本
http://www.winimage.com/zLibDll/
把 lib 和 dll 文件放到 CUDA 安装目录的 lib 和 bin 文件夹

3.Could not load library cudnn_cnn_infer64_8.dll. Error code 193

是 cudnn 版本问题
原来安装了 8.4.0.27，版本太高了
下载了 cudnn-11.4-windows-x64-v8.2.4.15.zip 解压到 cuda 对应的文件夹，运行成功
下载地址
https://developer.nvidia.com/rdp/cudnn-archive

原文链接：https://blog.csdn.net/qq_42067550/article/details/126035184

4. TensorRT was linked against cuDNN 8.4.1 but loaded cuDNN 8.2.1

这个报错好像可以忽略

vs项目报错：

严重性    代码    说明    项目    文件    行    禁止显示状态
错误    C2039    “istream_iterator”: 不是“std”的成员    NeuroDetectionV1    f:\project\jushi\fastertest\include\common.hpp    708    


严重性    代码    说明    项目    文件    行    禁止显示状态
错误    MSB3721    命令“"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\bin\nvcc.exe" -gencode=arch=compute_30,code=\"sm_30,compute_30\" --use-local-env -ccbin "C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.16.27023\bin\HostX86\x64" -x cu   -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\include"     --keep-dir x64\Release -maxrregcount=0  --machine 64 --compile -cudart static --extended-lambda    -DWIN32 -DWIN64 -DNDEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /O2 /Fdx64\Release\vc141.pdb /FS /Zi  /MD " -o x64\Release\boxPooler.cu.obj "F:\project\jushi\fastertest\cu\boxPooler.cu"”已退出，返回代码为 1。    NeuroDetectionV1    C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\Common7\IDE\VC\VCTargets\BuildCustomizations\CUDA 11.0.targets    772    
 

解决方法：

去掉：compute_30,sm_30

但是这个博客不一样，结果相反：

VS2017 +CUDA11.0配置CUDA应用程序，成功编译但结果不正确解决方案_微凉的衣柜的博客-CSDN博客

报错1：

IBuilderConfig* config = builder->createBuilderConfig();

原因：TensorRT的动态库dll不对，比如把XXX \TensorRT-7.2.3.4\lib的dll拷贝到exe所在目录，报错就没有了。

报错2：

_iExecutionContext报错：

_modelParam._iExecutionContext = _modelParam._iCudaEngine->createExecutionContext(); 

报错3：

严重性    代码    说明    项目    文件    行    禁止显示状态
错误    MSB3721    命令“"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin\nvcc.exe"  --use-local-env -ccbin "C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.16.27023\bin\HostX86\x64" -x cu  -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include" -I"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include"     --keep-dir x64\Release -maxrregcount=0  --machine 64 --compile -cudart static --extended-lambda    -DWIN32 -DWIN64 -DNDEBUG -D_CONSOLE -D_MBCS -Xcompiler "/EHsc /W3 /nologo /O2 /Fdx64\Release\vc141.pdb /FS /Zi  /MD " -o x64\Release\boxPooler.cu.obj "F:\project\jushi\fastertest\cu\boxPooler.cu"”已退出，返回代码为 1。    NeuroDetectionV1    C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\Common7\IDE\VC\VCTargets\BuildCustomizations\CUDA 10.1.targets    764    

原因：cuda环境变量和vs中配置的不一致，

vs中的：

# (Approximate command-line.  Settings inherited from host are not visible below.)
# (Please see the output window after a build for the full command-line)

# Driver API (NVCC Compilation Type is .cubin, .gpu, or .ptx)
set CUDAFE_FLAGS=--sdk_dir "C:\Program Files (x86)\Windows Kits\10\"
"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin\bin\nvcc.exe" --use-local-env -ccbin "C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.16.27023\bin\HostX86\x64" -x cu        --keep-dir x64\Release -maxrregcount=0  --machine 64 --compile -cudart static  -o x64\Release\%(Filename)%(Extension).obj "%(FullPath)"

# Runtime API (NVCC Compilation Type is hybrid object or .c file)
set CUDAFE_FLAGS=--sdk_dir "C:\Program Files (x86)\Windows Kits\10\"
"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin\bin\nvcc.exe" --use-local-env -ccbin "C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.16.27023\bin\HostX86\x64" -x cu        --keep-dir x64\Release -maxrregcount=0  --machine 64 --compile -cudart static      -Xcompiler "/EHsc  /nologo   /FS /Zi   " -o x64\Release\%(Filename)%(Extension).obj "%(FullPath)"

cuda环境变量：

path中：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\libnvvp

报错：

LNK1181    无法打开输入文件“cudart_static.lib”

查看cuda cudnn版本：

查看cuda版本：

命令行执行 nvcc -V

查看 cuDNN 版本：

进入 CUDA 的安装目录查看文件 cudnn_version.h ：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include\cudnn_version.h

如下所示，cuDNN 版本为 8.1.1 :

原文链接：https://blog.csdn.net/c_0934/article/details/121004165

python onnx转tensorrt报错

可以忽略的：

TensorRT was linked against cuBLAS/cuBLAS LT 11.6.3 but loaded cuBLAS/cuBLAS LT 11.4.2

c++推理报错

1.cuda11.3 tensorrt 8.2.18版本报错：

 generated on an incompatible device, expecting compute 7.5 got compute 6.1, please rebuild

1.serializationVersion failed.Version tag does not match

Error Code 1: Serialization (Serialization assertion stdVersionRead == serializationVersion failed.Version tag does not match. Note: Current Version: 205, Serialized Engine Version: 213)

cuda11.3版本，选择了一个：

TensorRT-8.0.3.4.Windows10.x86_64.cuda-11.3.cudnn8.2.zip

python tensorrt换成8.2.18，报错依旧；

 serializationVersion failed.Version tag does not match. Note: Current Version: 205, Serialized Engine Version: 213

解决方法：生成tensorrt 引擎和tensorrt推理的引擎版本需要一致。

AI算法网奇
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
专栏目录
tensorRT6.0_7.2_win10
10-30
包含win10系统下的tensorRT库，从6.0到7.2版本都有，并且提供cuda对应的支持版本cuda10.0到11.0版本，百度网盘提供链接地址！
yolov7 的win10 tensorrt推理 c++ 版本
01-27
tensorrtx/yolov7 at master · wang-xinyu/tensorrtx · GitHub yolov7的win10 cuda11.4.3 cudnn8.2 tensorrt8.2.1.8 推理
【Debug】TensorRT报错汇总
最新发布
王尼莫的博客
04-29 618
下面是运行中的问题汇总及解决。
tensorRT的完整安装以及常见错误 export failure: [WinError 127] 找不到指定的程序。
zhuguiqin1的专栏
05-06 3162
我们需要把D:\tensorrt\TensorRT-8.6.1.6\lib对应的目录放到window环境变量即可。版本，安装完成tensorrt以后再pip install python对应的whl文件。在python中执行import tensorrt as trt代码会出现如下错误。
TensorRT was linked against cuBLAS/cuBLAS LT 11.2.0 but loaded cuBLAS/cuBLAS
jacke121的专栏
12-14 5390
TensorRT was linked against cuBLAS/cuBLAS LT 11.2.0 but loaded cuBLAS/cuBLASLT 10.2 原因： TensorRT和cuda版本需要匹配 重新下载和cuda版本匹配的版本 TensorRT下载页面有选择版本的。
TensorRT-插件初始化
qq_42178122的博客
11-26 3796
遇到一个问题，就是在使用自定义插件的时候，先通过onnx生成trt模型；然后，加载trt模型，能正常使用。注释：如果先通过onnx生成trt模型，这一步已经做了插件注册。因此，在后面的加载模型，就能正常使用。因为在插件注册表中找不到相应的IPluginCreator，所以需要在加载模型的时候，进行插件注册。1） 添加#include "NvInferPlugin.h"的头文件。2）在加载模型的代码处，进行插件注册。
导包问题解决--ImportError: DLL load failed while importing _path: 找不到指定的模块
热门推荐
qq_44111805的博客
12-02 6万+
。（1）前面的1.22.4为numpy的版本号，一般选择最新版本即可。（3）后面的win_amd64表示对应的电脑的64位。
Jupyter启动报错 ImportError: DLL load failed while importing error
东南飘雪
03-21 1万+
Jupyter 命令行启动报错 ImportError: DLL load failed while importing error: 找不到指定的模块。
WIN10 SNMP离线安装文件.zip
11-05
win10 SNMP服务默认得用联网才能安装,现在做成离线安装包,无需网络即可安装,
win10安装Pads9.5详细步骤及其配置
07-09
2018年7月9日自己亲自在win10安装的pads软件，过程截图，与大家互相交流学习！
64位win10安装MSDE
10-31
WIN10下已经不支持安装MSDE了，但是通过修改部分文件，可以实现安装，本文是作者原创原版作品，附图清晰。
TensorRT安装及验证
jiugeshao的专栏
02-24 9244
博主的一些基本环境配置可见之前博客非虚拟机环境下Ubuntu配置_jiugeshao的专栏-CSDN博客 第一步: 准备安装Anaconda Anaconda3-5.2.0-Linux-x86_64.shhttps://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh
关于动态链接库的依赖路径问题tensorRT
qq_31610789的博客
04-13 1983
问题：项目依赖的3rdParty中的tensorRT的lib出现依赖woring [W] [TRT] TensorRT was linked against cuDNN 7.6.3 but loaded cuDNN 7.6.0 查看到了tensorRT的libnvinfer.so依赖的cudnn.so.7没有使用CmakeLists.txt link_directories(cudnn的lib路径)，而是使用的/user/local/cuda/lib64的路径。 根据下面的优先级，查看到底为...
【TensorRT】TensorRT was linked against cuBLAS/cuBLAS LT 11.3.0 but loaded cuBLAS/cuBLAS LT 11.2.1
豆芽菜
04-14 3949
问题： 在使用TensorRT-7.2.3.4.Windows10.x86_64.cuda-11.1.cudnn8.1时，发布模型和推理发布的trt模型时出现警告，并且发现推理速度很慢： [W] [TRT] TensorRT was linked against cuBLAS/cuBLAS LT 11.3.0 but loaded cuBLAS/cuBLAS LT 11.2.1 原因： 由于使用的是官方Release版本的TensorRT，因此使用需要同原...
Win10+cuda11.3+cudnn8.2.1+TensorRT8.4.0环境搭建
ssunshining的博客
04-23 5232
一、安装cudnn和tensorRT 需要下载的文件： cuda11.3下载地址： CUDA Toolkit 11.3 Downloads | NVIDIA Developer （以下内容默认已经安装了cuda） cudnn下载地址： cuDNN Archive | NVIDIA Developer tensorRT下载地址： https://developer.nvidia.com/nvidia-tensorrt-8x-download 首先确保cuda在环境变量中： cmd 输入nv
[TRT] TensorRT was linked against cuBLAS/cuBLAS LT 11.5.1 but loaded cuBLAS/cuBLAS LT 11.4.2
cumtchw
08-03 5635
在centos7安装cuda11.3,cudnn8.2.1,TensorRT8后，在运行程序时候提示： [TRT] TensorRT was linked against cuBLAS/cuBLAS LT 11.5.1 but loaded cuBLAS/cuBLAS LT 11.4.2 这是因为安装的cuda是11.3.0版本的，里面的cublas不是11.5.1，安装11.3.1版本的cuda就好了，我们可以看一下cuda11.3.1的介绍。 https://docs.nvidia.com/cu
记ubuntu18.04安装使用TensorRT
laizi_laizi的博客
11-26 3705
激活虚拟环境，安装pyCUDA pip install 'pycuda<2021.1' 安装完成:
win10安装tensorrt
07-25
要在Windows 10上安装TensorRT，您可以按照以下步骤进行操作： 1. 首先，确保您的系统满足TensorRT的要求。TensorRT支持Windows 10版本1809或更高版本，并且需要CUDA和cuDNN的支持。请确保您已正确安装并配置了这些组件。 2. 下载TensorRT的Windows安装包。您可以在NVIDIA的官方网站上找到TensorRT的最新版本。从该网站下载适用于Windows的安装程序。 3. 运行TensorRT的安装程序。打开下载的安装包，并按照其中的指示进行安装。您可以选择安装的位置以及其他一些选项。 4. 配置环境变量。TensorRT的安装程序会自动将必要的路径添加到系统的环境变量中。如果没有自动添加，请手动将TensorRT的安装路径添加到您的系统环境变量中。 5. 验证安装。打开命令提示符或PowerShell，并输入以下命令来验证TensorRT是否正确安装： ``` trtexec --version ``` 如果安装成功，您应该能够看到TensorRT的版本信息。 现在，您已经成功在Windows 10上安装了TensorRT。您可以开始使用它来优化和加速深度学习模型了。请注意，TensorRT主要用于推理阶段的加速，而不是训练阶段。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值