【TensorRT】NVIDIA TensorRT 安装 (Windows C++)

已于 2023-01-04 16:15:59 修改
阅读量5.8k 收藏 45
点赞数 11
分类专栏： 学习教程 深度学习 文章标签： windows 深度学习 人工智能
于 2022-10-14 15:37:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/grape_yan/article/details/127320959
版权

NVIDIA TensorRT 安装 Windows C++

1.TensorRT介绍

 NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。

 基于 NVIDIA TensorRT 的应用程序在推理过程中的执行速度比仅使用 CPU 的平台快 36 倍，使开发人员能够优化在所有主要框架上训练的神经网络模型，以高精度校准以降低精度，并部署到超大规模数据中心、嵌入式平台或汽车产品平台。
在这里插入图片描述

 TensorRT 基于 NVIDIA CUDA 并行编程模型构建，使开发人员能够通过利用 CUDA-X 中的库、开发工具和技术来优化推理®™用于 AI、自主机器、高性能计算和图形。借助新的NVIDIA Ampere Architecture GPU，TensorRT还使用稀疏张量内核来进一步提高性能。

 TensorRT 提供 INT8，使用量化感知训练和雨后量化，以及 FP16 优化，用于深度学习推理应用程序的生产部署，如视频流、语音识别、推荐、欺诈检测、文本生成和自然语言处理。降低精确度推断可显著降低应用程序延迟，这是许多实时服务以及自主和嵌入式应用程序的要求。

 借助TensorRT，开发人员可以专注于创建新颖的AI应用程序，而不是推理优化。然后，TensorRT优化的模型可以与NVIDIA Triton一起部署，NVIDIA Triton™是一种开源推理服务软件，包括TensorRT作为其后端之一。
在这里插入图片描述

 官方安装文档为：安装指南 ：： NVIDIA Deep Learning TensorRT 文档

2. 查看设备信息

 TensorRT 基于 NVIDIA CUDA 并行编程模型构建，因此当前电脑需要已经安装CUDN以及cuDNN依赖。此处不做详述。
首先查看CUDA 版本，命令提示符输入下面命令：

nvcc --version

在这里插入图片描述
 可以看出本机电脑安装的CUDN版本为11.4。
 接下来查看cuDNN版本，进入 CUDA 的安装目录查看文件 cudnn_version.h ：

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\include\cudnn_version.h

在这里插入图片描述
 在此处可以看出，cuDNN版本为8.2.4。

3.下载TensorRT

 根据上一步查看的本机CUDN、以及cuDNN版本，此处选择最新版本为8.0系列版本，下载链接为：NVIDIA TensorRT 8.x Download | NVIDIA Developer；进入页面如下，根据自己安装的CUDA版本与CUDNN版本进行下载。
在这里插入图片描述
 由于cuDNN版本为8.2.4，所以此处我们选者8.2以上版本的TensorRT，这与我们的电脑是适配的。
在这里插入图片描述

 下载完为下述文件，其最大支持cuda-11.6、cudnn8.3，是大于我们电脑所安装版本，将下载好的文件解压缩到本地目录，最好放置在固定目录中，该目录即作为安装目录。
在这里插入图片描述

4 设置环境变量

 将以下路径加入当环境变量中：

D:\Program Files\TensorRT-8.4.0.6\lib

5. vs环境设置

5.1 包含目录

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\include
D:\Program Files\TensorRT-8.4.0.6\include

5.2 库目录

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\lib
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.4\lib\x64
D:\Program Files\TensorRT-8.4.0.6\lib

5.3 附加依赖项

nvinfer.lib
nvinfer_plugin.lib
nvonnxparser.lib
nvparsers.lib
cublas.lib
cublasLt.lib
cuda.lib
cudadevrt.lib
cudart.lib
cudart_static.lib
cudnn.lib
cudnn64_8.lib
cudnn_adv_infer.lib
cudnn_adv_infer64_8.lib
cudnn_adv_train.lib
cudnn_adv_train64_8.lib
cudnn_cnn_infer.lib
cudnn_cnn_infer64_8.lib
cudnn_cnn_train.lib
cudnn_cnn_train64_8.lib
cudnn_ops_infer.lib
cudnn_ops_infer64_8.lib
cudnn_ops_train.lib
cudnn_ops_train64_8.lib
cufft.lib
cufftw.lib
curand.lib
cusolver.lib
cusolverMg.lib
cusparse.lib
nppc.lib
nppial.lib
nppicc.lib
nppidei.lib
nppif.lib
nppig.lib
nppim.lib
nppist.lib
nppisu.lib
nppitc.lib
npps.lib
nvblas.lib
nvjpeg.lib
nvml.lib
nvrtc.lib
OpenCL.lib
NVIDIA TensorRT高性能深度学习推理
吴建明wujianming_110117
11-03 697
NVIDIA TensorRT高性能深度学习推理 NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。此 SDK 包含深度学习推理优化器和运行时环境，可为深度学习推理应用提供低延迟和高吞吐量。 在推理过程中，基于 TensorRT 的应用程序的执行速度可比 CPU 平台的速度快 40 倍。借助 TensorRT，您可以优化在所有主要框架中训练的神经网络模型，精确校正低精度，并最终将模型部署到超大规模数据中心、嵌入式或汽车产品平台中。 TensorRT 以 NVIDIA 的并行编程模型 C
【TensorRT】TensorRT环境安装
浩瀚之水的专栏
10-11 4398
本文操作均在Win10系统上完成，需要用到的软件与依赖包有：cuda 10.2 , cudnn 8.6.5 , VS2017 , OpenCV 4.0.0 , Anaconda3 , CMake 3.10.1 , TensorRT 8，pytorch通过英伟达官网来确认显卡驱动与CUDA版本对应关系，，基本上所有的版本cuda都能支持通过pytorch官网来确认也可以通过pytorch官网查询选择cudnn版本时要优先考虑tensorrt版本。
YOLOv10 C++TensorRT项目采用C++编写，并使用NVIDIA TensorRT进行了优化
10-15
YOLOv10 C++TensorRT项目采用C++编写，并使用NVIDIA TensorRT进行了优化
边缘计算场景下的模型轻量化：TensorRT部署YOLOv7的端到端优化指南
最新发布
像风一样自由
04-16 1396
在边缘设备（如Jetson系列）部署YOLOv7需兼顾模型精度、推理速度与功耗限制三重约束。TensorRT作为NVIDIA官方推理加速库，通过算子融合、量化压缩和内存复用等优化技术，可将模型推理速度提升2-5倍‌。
【YOLOv10】使用 TensorRT C++ API 调用GPU加速部署 YOLOv10 实现 500FPS 推理速度——快到飞起！
grape_yan的博客
06-04 3683
NVIDIA ® TensorRT ™ 是一款用于高性能深度学习推理的 SDK，包含深度学习推理优化器和运行时，可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法，通过消除NMS、优化模型架构和引入创新模块等策略，在保持高精度的同时显著降低了计算开销，为实时目标检测领域带来了新的突破。 > 在本文中，我们将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型，实现模型推理加速。
tensorrt的安装和使用
zhuikefeng的博客
09-21 3308
提前安装好和，登录 NVIDIA 官方网站下载和主机 CUDA 版本适配的 TensorRT 压缩包即可。以 CUDA 版本是 10.2 为例，选择适配 CUDA 10.2 的。
安装 TensorRT
weixin_41046245的博客
12-20 4482
此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库 可能不可取。上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的 已安装的版本。如果前面的 Python 命令有效，那么您现在应该能够运行 任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。
Tensorrt安装及使用（python版本）
热门推荐
stivory的博客
01-25 2万+
Window使用zip安装后使用 TensorrtRT-8.6.1.6/bin/trtexec.exe 文件生成 tensorrt 模型文件。首先选择和本机nVidia驱动、cuda版本、cudnn版本匹配的Tensorrt版本。首先选择和本机nVidia驱动、cuda版本、cudnn版本匹配的Tensorrt版本。我这边的使用的流程是：pytorch -> onnx -> tensorrt。我使用的：cuda版本：11.7；我使用的：cuda版本：11.4；打印转换后的tensorrt的模型的信息。
技术分享 | 浅谈TensorRT
AMOVLAB(阿木实验室)
11-29 1576
Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。 如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。另外，TensorRT可以作为用户应用程序中的库，它包括用于从Caffe，ONNX或TensorFlow导入现有模型的解析器，以及用于以编程方式（C++或Python.
基于C++快速使用TensorRT来部署模型项目源码
03-24
TensorRT是一个由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它能够为深度学习模型提供低延迟、高吞吐量的预测服务。本项目源码以C++为基础，教你如何快速利用TensorRT来部署模型，实现高效的计算...
yolov8使用tensorRT进行c++部署
01-29
TensorRT是NVIDIA开发的一款高性能深度学习推理（Inference）优化器和运行时，用于加速深度学习应用的推理阶段。 首先，我们需要理解YOLOv8模型的基本结构。YOLOv8基于先前的YOLOv3和YOLOv4改进，采用了多尺度检测...
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
使用TensorRT C++部署YOLOv10实现GPU加速-C++源码与模型
06-04
该代码将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型，实现模型推理加速。经过测试，推理可以实现2ms所有，全流程包含前后处理仅有15ms左右。 此处提供了项目源码以及模型文件。
TensorRT: NVIDIA的高性能深度学习推理引擎
helloaiworld的博客
10-09 1094
TensorRT是NVIDIA开发的一款用于GPU上高性能深度学习推理的SDK(软件开发工具包)。它能够优化神经网络模型,加速推理过程,显著提升GPU上的推理性能和效率。作为NVIDIA AI计算生态系统的重要组成部分,TensorRT已成为深度学习部署的重要工具。对于TensorRT不直接支持的操作,可以通过自定义层来实现。这需要继承IPluginV2# 实现必要的方法TensorRT作为NVIDIA深度学习推理优化的核心工具,在AI应用部署中发挥着重要作用。
win10安装TensorRT（C++，Python）
clownwai的博客
03-17 1万+
文章目录前言一、先决条件二、TensorRT下载1.官网下载2.C++3.Python总结 前言 本偏文章主要用于记录Win10上TensorRT的安装过程。 C++软件：VS2019 python PS：conda环境安装python依赖包时注意激活环境。 一、先决条件 在安装TensorRT前，首先需要安装CUDA、CUDNN等NVIDIA的基本库。 CUDA： 11.3； cmd执行 nvcc -V cudnn：8.2.1 py-cuda （我用的11.5） pip install cuda-
tensorrt安装使用教程
xiaomu_347的博客
10-19 1643
https://blog.csdn.net/zong596568821xp/article/details/86077553 https://blog.csdn.net/Tosonw/article/details/92643231
【教程】Install NVIDIA TensorRT on WSL 在WSL上安装英伟达TensorRT
Observer_0987的博客
06-21 1505
TensorRT安装完以后，可以在\usr\src\tensorrt\samples目录下可以找到一些供测试的样例，可以参照其中包含的README文件，编译后运行。（编译参考官方Github库。
NVIDIA TensorRT 10 [TAR]安装教程
weixin_43408232的博客
03-30 627
假设已经成功安装好驱动，如果没有，请参考其他教程进行安装，可参考。为了确保CUDA可用，参考。确保环境变量生效，然后执行。说明CUDA 安装成功。，我们添加环境变量到。
NVIDIA TensorRT 深度学习推理加速引擎详解
专注于人工智能领域的小何尚
03-25 1270
在当今人工智能和深度学习快速发展的时代，模型推理性能已成为实际应用中的关键瓶颈。无论是需要实时响应的自动驾驶系统，还是要处理海量数据的推荐引擎，亦或是资源受限的边缘设备上的AI应用，都对推理速度、延迟和能耗提出了严苛的要求。NVIDIA TensorRT作为一个高性能的深度学习推理优化器和运行时环境，正是为解决这些挑战而生。本文将全面深入地介绍NVIDIA TensorRT，从基本概念到安装部署，再到实际应用案例，帮助读者全面掌握这一强大工具。无论您是AI研究人员、深度学习工程师，还是对推理优化感兴趣的开发
Tensorrt安装
03-29
<think>嗯，用户想查找TensorRT的安装方法或者教程，特别是询问安装指南和如何安装。首先，我需要回忆一下之前提供的引用内容。引用[1]提到了Windows10下的安装步骤，包括下载ZIP文件、解压、添加环境变量和验证安装。引用[2]则涉及ONNX-TensorRT的安装，需要替换路径和编译项目。引用[3]是通用的安装配置指南，确认安装成功后的使用。 用户的需求很明确，是要安装TensorRT，可能需要详细的步骤指导。我应该先概述安装前的准备，比如检查CUDA版本和下载对应的TensorRT版本。然后分步骤说明Windows和Linux下的安装方法，因为用户可能使用不同的操作系统。Windows部分可以参考引用[1]的内容，详细列出解压、环境变量设置、验证等步骤。Linux部分可能需要使用deb包或者Tar包安装，同样需要环境变量配置，并验证安装是否成功。 另外，用户可能需要知道如何验证安装是否成功，比如运行sample程序或者Python测试。这部分需要确保用户完成安装后能够确认TensorRT正常工作。同时，考虑到用户可能遇到的问题，比如路径替换、环境变量配置错误，或者依赖项缺失，应该在注意事项里提醒他们注意版本匹配和路径正确性。 可能还需要补充一些常见问题，比如安装后无法导入TensorRT模块，这时候需要检查PYTHONPATH是否正确，或者是否有缺失的依赖库。此外，引用[2]提到的ONNX-TensorRT编译可能对部分用户有用，但用户主要问题是安装，可能暂时不需要深入，但可以作为后续步骤提及。 最后，生成的相关问题需要覆盖安装验证、不同系统安装、依赖检查以及与其他框架的集成，这样用户如果有进一步的问题可以自行参考。需要确保回答结构清晰，分步骤说明，并且引用正确的来源，比如引用[1][3]作为主要安装步骤，引用[2]作为扩展内容。</think>以下是TensorRT安装的详细步骤指南： ### TensorRT安装步骤 1. **安装前准备** - 确认已安装对应版本的CUDA和cuDNN（建议使用Nvidia官方推荐的版本组合）[^3] - 下载对应版本的TensorRT压缩包（推荐从[Nvidia开发者网站](https://developer.nvidia.com/tensorrt)获取） 2. **Windows安装** ```markdown 1. 解压下载的TensorRT ZIP文件到指定目录（建议路径不含中文和空格）[^1] 2. 添加以下环境变量： - TensorRT安装目录：`<path_to_tensorrt>` - 将TensorRT的lib目录添加到PATH：`<path_to_tensorrt>\lib` 3. 验证安装： ```python import tensorrt print(tensorrt.__version__) ``` ``` 3. **Linux安装（Debian包方式）** ```bash # 安装基础包 sudo dpkg -i nv-tensorrt-local-repo-<distro>_<version>-1_amd64.deb sudo apt-key add /var/nv-tensorrt-local-repo-<version>/7fa2af80.pub sudo apt-get update sudo apt-get install tensorrt ``` 4. **验证安装** ```bash # 检查样本程序 cd <TensorRT安装目录>/samples/sampleMNIST make ./sample_mnist ``` ### 注意事项 - 必须保证CUDA、cuDNN、TensorRT版本严格对应[^3] - Python接口需要额外安装`python3-libnvinfer`包 - 遇到路径问题时，请检查`LD_LIBRARY_PATH`（Linux）或`PATH`（Windows）是否包含TensorRT库路径[^2]
评论 22
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

椒颜皮皮虾྅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值