【量化相关】TensorRT安装

最新推荐文章于 2024-10-11 10:58:10 发布
最新推荐文章于 2024-10-11 10:58:10 发布
阅读量452 收藏 1
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45994963/article/details/129183620
版权
文章详细记录了TensorRT的安装过程，包括下载、安装文件到CUDA相应目录以及使用pip安装whl文件。之后通过yolov5模型转换为pt和engine模型，对比了两者的运行速度，engine模型在检测141张图片时表现出更快的速度。
摘要由CSDN通过智能技术生成

简单记录一下tensorrt的安装步骤

1、下载连接  https://developer.nvidia.com/nvidia-tensorrt-8x-download

找到自己使用环境所需要的版本进行下载

 

2、安装

  • 复制TensorRT-8.4.0.6\bin中内容到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin
  • 复制TensorR-8.4.0.6\include中的文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include文件夹中
  • 复制TensorRT-8.4.0.6\lib文件夹中的lib文件C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin夹中。
  • 复制TensorRT-8.4.0.6\lib文件夹中的dll文件C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib夹中。
  • 使用pip install xxx.whl安装TensorRT-8.4.0.6文件夹中的

 安装完成后再使用yolov5生成pt模型，然后使用trt加速后生成engine模型，对141张图检测，运行速度对比如下。

 pt速度：

engine速度：

 

 参考引用：http://www.ppmy.cn/news/10962.html

y1969
关注
利用Tensorrt实现int8量化
@bangbang的博客
09-18 1900
int8量化是利用int8乘法替换float32乘法实现性能加速的一种方法1.对于常规的模型有:y=kx+b,此时x,k,b都是float32,对于kx的计算使用float32的乘法2.对于int8模型有:y=tofp32(toint8(k)toint8(x))+b,其中int8int8结果为int 163 因此int8模型解决的问题是如何将float32合理转换为int8（合理的方法包括：KL散度，重新训练等），使得精度损失最小。
TensorRT安装
12-21
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR
安装 TensorRT
weixin_41046245的博客
12-20 3194
此外，如果您已经安装了 TensorRT C++ 库，请使用 Python 包索引版本将安装此库的冗余副本，该库 可能不可取。上面的命令将拉入所有必需的 CUDA 来自 PyPI 的 Python wheel 格式的库和 cuDNN，因为它们是 TensorRT Python wheel 的依赖关系。此外，如果您有以前的 已安装的版本。如果前面的 Python 命令有效，那么您现在应该能够运行 任何 TensorRT Python 示例，以进一步确认您的 TensorRT 安装正在工作。
深入浅出之TensorRT环境安装
浩瀚之水的专栏
10-11 1543
本文操作均在Win10系统上完成，需要用到的软件与依赖包有：cuda 10.2 , cudnn 8.6.5 , VS2017 , OpenCV 4.0.0 , Anaconda3 , CMake 3.10.1 , TensorRT 8，pytorch通过英伟达官网来确认显卡驱动与CUDA版本对应关系，，基本上所有的版本cuda都能支持通过pytorch官网来确认也可以通过pytorch官网查询选择cudnn版本时要优先考虑tensorrt版本。
安装TensorRT
JineD的博客
11-29 1034
在安装之前，一定要确认好自己所使用的CUDA、CUDNN和python的版本，因为这关系着tensorrt的版本。测试时cudnn安装的是11.4，执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号，但并没有影响到下面的安装步骤。以上，我们就成功的将tensorRT安装完了，试着执行一下python，然后看能不能导入这些模块。解压得到TensorRT-6.0.1.5的文件夹，将里边的lib绝对路径添加到环境变量中。
模型部署+目标检测YOLOv5+tensorrt加速 - int8量化
02-27
由于C++语言的运行优势，多数算法模型在实际应用时需要部署到C++环境下运行，以提高算法速度和... 2.C++环境下通过tensorrt进行模型导入和调用，过程中实现int8量化加速 适合刚开始部署模型的小白或者研究者，内附教程
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
2. **安装TensorRT**：在你的系统上安装TensorRT库和对应的Python API，通常通过NVIDIA的官方文档可以找到详细的安装指南。 3. **编写量化脚本**：创建一个Python脚本，导入TensorRT的Python API，并实例化一个`...
onnx量化和Tensorrt量化有什么区别
07-08
ONNX量化和TensorRT量化都是用于优化深度学习模型的量化方法，但它们有一些区别。 ONNX量化是指将浮点数模型转换为定点数模型，以减少模型的存储空间和计算开销。它通过对权重和激活值进行量化，将它们表示为低位...
TensorRT-使用TensorRT部署BEVFormer-支持int8量化+自定义tensorrt插件-优质算法部署项目实战
最新发布
10-21
TensorRT_使用TensorRT部署BEVFormer_支持int8量化+自定义tensorrt插件_优质算法部署项目实战
tensorrt安装
weixin_41012399的博客
08-04 170
历时3天多，tensorrt装上了，但是不确定有没有成功。 最后使用的教程： https://www.cnblogs.com/rickyngmo22/p/11650994.html 安装的Python 3.7.11 到最后一个安装pycuda时候，一直失败。这个pycuda安装了很久，至今未安装成功。 好像还参考了下边两个。 https://www.it610.com/article/1293397774670307328.htm https://blog.csdn.net/Simplify_boy/art
TensorRT安装教程
qq_43742590的博客
02-26 1468
如何优雅地安装TensorRT
安装tensorRT
m0_37192554的博客
06-09 404
cd 到容器内的 tensorrt 路径下解压刚才下载的 tar 包： tar -zxvf TensorRT-8.2.1.8.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz 解压之后可以 ls 看一下，应该多了一个叫 TensorRT-8.2.1.8 的文件夹；1、安装 vim 2、添加环境变量把 解压 TensorRT的路径 替换成刚才的 tensorrtexport LD_LIBRARY_PATH=/tensorrt/TensorRT-8.2.1.8/lib:$L
tensorrt 安装 (新的)
Loong Cheng的博客
01-26 1218
1 相关设备和文件的参数 uname -r 5.3.0-26-generic gpu 1070 nvidia 430.50 cuda V10.0.130 cudnn 7604 tensorflow-gpu 1.13.2 tensorrt 5.1.50 python 3.6.9 2 cuda和cudnn安装方法 看 ...
TensorRT安装以及配置
introsend的博客
03-25 1828
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 如何改变文本的样式 强调文本 强调文本 加粗文本 加粗文本 标记文本 删除文本 引用文本 H2O is是...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值