详解Windows系统安装TensorRT

已于 2023-12-17 19:47:02 修改
阅读量7.6k 收藏 80
点赞数 30
分类专栏： Windows 机器学习 文章标签： windows pytorch 深度学习
于 2023-05-21 12:05:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/KRISNAT/article/details/130789078
版权

文章目录

TensorRT 是 NVIDIA 推出的一款高性能神经网络部署引擎.Windows系统下TensorRT目前不能简单直接通过pip指令自动下载安装, 安装之前还需要提前安装好 CUDA 和 CUDNN.

CUDA和CUDNN安装可参考:

下载TensorRT

  1. 进入NVIDIA的TensorRT页面: https://developer.nvidia.com/tensorrt. 点击Download now, 进入TensorRT下载页面. PS: TensorRT页面需要先登录NVIDIA账号, 才会有下载选项.

在这里插入图片描述

  1. 选择版本, 这里博主选择最新的TensorRT 8.
    在这里插入图片描述
  2. 勾选"I Agree To the Terms of the NVIDIA TensorRT License Agreement"
    在这里插入图片描述
  3. 选择具体版本, 这里博主选择的是TensorRT 8.5 GA Update 2.
    在这里插入图片描述
  4. 选择Zip Packages for Windows下面和自己CUDA版本匹配的ZIP, 点击即可下载.
    在这里插入图片描述

安装TensorRT

  1. 解压下载的ZIP文件, 如下：
    在这里插入图片描述
  2. 从解压好的文件夹中复制文件到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6, 对应复制路径. PS: 此处的复制需要管理员权限. 此处CUDA的版本v11.6需要根据自身安装的情况而定.
序号所需复制文件来源目标
1…\TensorRT-8.5.3.1\bin\trtexec.exe…\TensorRT-8.5.3.1\binC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin
2…\TensorRT-8.5.3.1\include下的所有文件…\TensorRT-8.5.3.1\includeC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
3🌟…\TensorRT-8.5.3.1\lib下的所有lib文件…\TensorRT-8.5.3.1\libC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64
4🌟…\TensorRT-8.5.3.1\lib下的所有dll文件…\TensorRT-8.5.3.1\libC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib
  1. 安装whl文件. 进入文件所在目录, 打开终端, 调用指令安装. PS: 安装时一定要注意whl文件的安装路径. 建议直接使用cd命令, 使终端进入到对应文件目录, 再使用 pip install *.whl 安装.
序号待安装whl文件所在文件夹安装指令
1graphsurgeon-0.4.6-py2.py3-none-any.whl…\TensorRT-8.5.3.1\graphsurgeonpip install graphsurgeon-0.4.6-py2.py3-none-any.whl
2onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl…\TensorRT-8.5.3.1\onnx_graphsurgeonpip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
3uff-0.6.9-py2.py3-none-any.whl…\TensorRT-8.5.3.1\uffpip install uff-0.6.9-py2.py3-none-any.whl
4🌟tensorrt-8.5.3.1-cp38-none-win_amd64.whl 需根据自身python版本选择对应的文件…\TensorRT-8.5.3.1\pythonpip install tensorrt-8.5.3.1-cp38-none-win_amd64.whl

测试

在这里插入图片描述

可能出现的问题

  • import tensorrt时显示找不到nvinfer.dll或者nvparsers.dll等
    解决办法：nvinfer.dll或者nvparsers.dll等dll文件时我们解压tensorrt压缩包时复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib文件夹下面的文件，因此只需要将这个文件夹地址添加到系统的环境变量Path中即可。

参考资料

  1. NVIDIA Deep Learning TensorRT Documentation🚀🚀🚀

收集整理和创作不易, 若有帮助🉑, 请帮忙点赞👍➕收藏❤️, 谢谢!✨✨🚀🚀

KRISNAT
关注
专栏目录
【DL】Windows 10系统下安装TensorRT教程
学无止境、积少成多、厚积薄发
12-06 1216
Windows 10系统下安装TensorRT教程（手把手教程）
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
【windows版】TensorRT安装教程
yantuguiguziPGJ的博客
09-24 1316
github代码 tensorrt_demos tensorrt_inference TensorRT demo
[tensorrt] --- tensorrt安装及使用
M2嵌入式
09-05 311
本教程基于ubuntu20.04，默认安装好了nVidia驱动、cuda版本、cudnn版本，选择与之匹配的Tensorrt安装。
深入浅出之TensorRT环境安装
最新发布
浩瀚之水的专栏
10-11 1409
本文操作均在Win10系统上完成，需要用到的软件与依赖包有：cuda 10.2 , cudnn 8.6.5 , VS2017 , OpenCV 4.0.0 , Anaconda3 , CMake 3.10.1 , TensorRT 8，pytorch通过英伟达官网来确认显卡驱动与CUDA版本对应关系，，基本上所有的版本cuda都能支持通过pytorch官网来确认也可以通过pytorch官网查询选择cudnn版本时要优先考虑tensorrt版本。
windows11下安装Tensor RT，并在conda虚拟环境下使用
qq_42681787的博客
11-23 1418
windows11下安装Tensor RT，并在conda虚拟环境下使用
windows下tensorRT的安装
weixin_44313432的博客
02-23 2542
window10下的tensorRT安装经验
Win10系统安装TensorRT
zyz博客
07-07 2743
Tips：理论指引实践TensorRT是一个高性能的深度学习推理（Inference）优化器，支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。TensorRT(1)-介绍-使用-安装祝一次安装成功。
Windows系统安装TensorRT
轩辕霸天L
05-26 716
4. 安装./python目录下的tensorrt-8.5.1.7-cp37-none-win_amd64.whl（根据使用的python版本确定，可用conda环境）包。2）./lib下的dll复制到path\to\NVIDIA GPU Computing Toolkit\CUDA\v11.3\bin。1）./lib添加到ENV。1. 预备环境：CUDA、CUDNN等。2. 注册下载 windows版本的。
TensorRT-8.2.3.0.Windows10.x86-64.cuda-11.4.cudnn8.2.zip
11-21
**TensorRT 8.2.3.0 for Windows 10 深度解析** TensorRT 是由 NVIDIA 提供的一款高性能深度学习推理（Inference）优化库，它旨在加速深度神经网络模型在GPU上的运行速度，提高实时服务的效率。TensorRT 8.2.3.0 ...
TensorRT-8.5.1.7.Windows10.x86-64.cuda-11.8.cudnn8.6.zip
03-29
此压缩包中的 TensorRT 版本为 8.5.1.7，适用于 Windows 10 64位操作系统，并且已经集成了 CUDA 工具包 11.8 和 cuDNN 8.6。CUDA 是 NVIDIA 提供的用于 GPU 加速计算的软件开发平台，而 cuDNN 是一组针对深度神经...
TensorRT-8.0.1.6.Windows10.x86_64.cuda-11.3.cudnn8.2.zip（官网下载）
11-26
TensorRT 8.0.1.6是该库的一个特定版本，专为Windows 10 64位操作系统设计，并且支持CUDA 11.3和CUDNN 8.2。CUDA（Compute Unified Device Architecture）是NVIDIA为GPU编程提供的一个并行计算平台和编程模型，而...
TensorRT-7.2.3.4.Windows10.x86-64.cuda-11.1.cudnn8.1.zip
02-08
6. **安装与使用**：安装TensorRT通常涉及解压文件、配置环境变量、编译样例代码以及构建自定义模型的解析器。用户需要具备一定的C++或Python编程基础，以及对深度学习模型的理解。 7. **性能优化**：TensorRT支持...
TensorRT部署-Windows环境配置
小豆包的博客
01-17 2644
学习笔记–TensorRT部署-Windows环境配置。
windows版：TensorRT安装教程
qq_46107892的博客
11-15 607
windows10安装TensorRT-7.2.2.3
windows 终端安装tensorrt
07-28
要在Windows终端上安装TensorRT，您需要按照以下步骤进行操作： 1. 首先，您需要下载与您的CUDA版本和CUDNN版本相对应的TensorRT安装包。您可以在NVIDIA的TensorRT页面上找到适合您的版本。请确保您已登录NVIDIA账号，以便获得下载选项。\[2\]\[3\] 2. 下载完成后，解压缩TensorRT安装包到您选择的目录。 3. 打开命令提示符(cmd)并导航到TensorRT安装目录。 4. 运行安装命令，根据您的需求选择安装组件和路径。例如，您可以使用以下命令安装TensorRT： ``` msiexec /i TensorRT-7.2.1.6.Windows10.x86_64.cuda-10.2.cudnn8.0.zip ``` 请注意，上述命令中的文件名和路径应根据您下载的TensorRT安装包进行相应更改。 5. 安装完成后，您可以在Windows终端中使用TensorRT。您可以通过运行以下命令来验证TensorRT是否成功安装： ``` nvcc -V ``` 如果您看到与您安装的TensorRT版本相对应的输出信息，则表示TensorRT已成功安装。\[1\] 请注意，安装TensorRT之前，您需要先安装适当版本的CUDA和CUDNN。您可以参考相关文档或链接\[3\]中提供的详细步骤来安装CUDA和CUDNN。 希望这些信息对您有所帮助！ #### 引用[.reference_title] - *1* *2* [Windows10安装TensorRT及环境配置](https://blog.csdn.net/qq_32768679/article/details/117325494)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [详解Windows系统安装TensorRT](https://blog.csdn.net/KRISNAT/article/details/130789078)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值