【TensorRT】int8量化与推理学习链接

已于 2024-02-22 09:35:49 修改
阅读量408 收藏 9
点赞数 8
分类专栏： 推理平台|TensorRT 文章标签： c++ 人工智能
于 2024-02-21 11:52:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ycx_ccc/article/details/136204909
版权
澄鑫
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
深度学习-TensorRT模型部署实战2022
04-11
分享课程——《深度学习-TensorRT模型部署实战》，2022年4月新课，提供代码和课件下载！ 本课程划分为四部分： 第一部分精简CUDA-驱动API：学习CUDA驱动API的使用，错误处理方法，上下文管理方法，了解驱动API所处位置，CUDA的开发习惯。 第二部分精简CUDA-运行时API：学习CUDA运行时API的使用，力求精简，力求够用，学会编写核函数加速模型预处理（仿射变换），学习yolov5的后处理加速方法，共享内存的使用。 第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以项目驱动，学习大量具体的项目案例（分类器、目标检测、姿态检测、场景分割、道路分割、深度估计、车道线检测、huggingface、insightface、mmdetection、onnxruntime、openvino），学习针对深度学习需要的封装技术、多线程技术、框架设计技术。
基于tensorrt int8量化yolov5 onnx模型并实现推理python源码(加速推理)+操作说明.zip
09-05
【资源说明】 基于tensorrt int8量化yolov5 onnx模型并实现推理python源码(加速推理)+操作说明.zip 环境配置 ubuntu：18.04 cuda：11.0 cudnn：8.0 tensorrt：7.2.16 OpenCV：3.4.2 cuda，cudnn，tensorrt和OpenCV安装包（编译好了，也可以自己从官网下载编译）可以从链接: https://pan.baidu.com/s/1dpMRyzLivnBAca2c_DIgGw 密码: 0rct cuda安装 如果系统有安装驱动，运行如下命令卸载 sudo apt-get purge nvidia* 禁用nouveau，运行如下命令 sudo vim /etc/modprobe.d/blacklist.conf 在末尾添加 blacklist nouveau 然后执行 sudo update-initramfs -u chmod +x cuda_11.0.2_450.51.05_linux.run sudo ./cuda_11.0.2_450.51.05_linux.run 是否接受协议: accept 然后选择Install 最后回车 vim ~/.bashrc 添加如下内容： export PATH=/usr/local/cuda-11.0/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda-11.0/lib64:$LD_LIBRARY_PATH source .bashrc 激活环境 cudnn 安装 tar -xzvf cudnn-11.0-linux-x64-v8.0.4.30.tgz cd cuda/include sudo cp *.h /usr/local/cuda-11.0/include cd cuda/lib64 sudo cp libcudnn* /usr/local/cuda-11.0/lib64 tensorrt及OpenCV安装 定位到用户根目录 tar -xzvf TensorRT-7.2.1.6.Ubuntu-18.04.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz cd TensorRT-7.2.1.6/python，该目录有4个python版本的tensorrt安装包 sudo pip3 install tensorrt-7.2.1.6-cp37-none-linux_x86_64.whl（根据自己的python版本安装） pip install pycuda 安装python版本的cuda 定位到用户根目录 tar -xzvf opencv-3.4.2.zip 以备推理调用 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
基于tensorrt int8量化yolov5 onnx模型并实现推理python+源代码+文档说明(加速推理)+操作说明
01-12
ubuntu：18.04 cuda：11.0 cudnn：8.0 tensorrt：7.2.16 OpenCV：3.4.2 cuda，cudnn，tensorrt和OpenCV安装包（编译好了，也可以自己从官网下载编译）可以从链接: https://pan.baidu.com/s/1dpMRyzLivnBAca2c_DIgGw 密码: 0r - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
TensorRT INT8量化原理与实现（非常详细）
热门推荐
Nicholson的博客
11-05 2万+
模型量化是什么？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。 .........
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 1250
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
tensorrt官方int8量化方法汇总
Suan2014的博客
08-08 1009
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；
基于tensorRT方案的INT8量化实现原理
alex1801
09-09 5375
声明：文章仅作知识整理、分享，如有侵权请联系作者删除博文，谢谢！ 转自：https://zhuanlan.zhihu.com/p/58182172 1 背景 1.1 行业背景 尽管模型size在不断地压缩，但是其计算量通常还是有一两百MFLOPS的样子，这个计算量对于目前的移动端CPU算力来说，还是有点吃力的，因此模型端做了最大的努力，我们移动端也要不甘示弱努力加油啊！ 通常移动端加速的方案时分CPU派跟GPU派的，目前在低端机型上arm的mali GPU性能惨不忍睹，所以基本配备的还是CPU
tensorrt-int8量化介绍
hello_dear_you的博客
12-06 4027
0. 背景-为什么要做量化 尽管近几年来，模型的size在不断的压缩，但是计算量（通常几百MFLOPs左右）对于移动端还是很大。由于每个层的权重参数范围基本确定（BatchNorm），且波动不大，适合量化压缩。量化能减少访存和计算量。 1. 量化的原理 1.1 量化本质 1.2 量化原理-最大值映射 1.3饱和截断映射 2.TensorRT的INT8量化 2.1 模型选择 2.2 工作流程 3. 基于TensorRT的Python API实例 3.1 需要注...
利用TensorRT实现INT8量化感知训练QAT
ZONGXP的博客
10-22 8600
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更大的动态范围。然而，在推理时，这些模型可能需要更长的时间来预测结果相比，精度降低推理，造成一些延迟的实时响应，并影响用户体验。 在许多情况下，最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度，特别是当权重具有较大的动态范围时。本文简单..
yolov8量化部署（基于openvino和tensorrt）
06-11
包括C++和python的所有源代码、模型文件、推理用的图片和视频资源文件。 对应文章https://blog.csdn.net/taifyang/article/details/131158445。
深度学习-TensorRT模型部署实战
06-16
第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以...
TensorRT INT8量化原理以及如何编写校准器类进行校准
AI数据工厂
06-18 7344
针对TensorRT INT8量化的具体过程及如何准备校准集、编写校准器进行详细介绍，并使用Python API进行实战。
使用 TensorRT 对 YOLOv8 模型进行 int8 量化
drin201312的博客
09-27 3240
对 YOLOv8 模型进行 int8 量化，主要用到 Python 版的 TensorRT。
TENSORRT INT8量化原理以及如何编写校准器类进行校准
爱CV
04-27 1680
原文 目录 1、INT8量化过程 2、编写校准器，并进行INT8量化 1、INT8量化过程 众所周知，一个训练好的深度学习模型，其数据包含了权重（weights）和偏移（biases）两部分，在其进行前向推理（forward）时，中间会根据权重和偏移产生**值（activation）。 关于INT8的量化原理，这篇回答非常详尽，我这里就简单说结论了： TensorRT在进行INT8量化时，对权重直接使用了最大值量化，对偏移直接忽略，对前向计算中的**值的量化是重点； 对**值进行INT8量化
C语言之函数指针（持续更新）
最新发布
qq_47607743的博客
05-20 274
C语言指针
c【语言】了解指针，爱上指针（1）
yzqy_的博客
05-16 913
在计算机中，数据是存储在内存中的，cpu从内存中读取数据，为了方便读取数据，内存又被划分为了一个个的内存单元，一个内存单元的大小就是一字节，一字节等于8bit位，我们给内存进行编号，这个编号就是地址，在c语言中给这个地址起了个名字。是的，亲爱的读者你肯定发现了，&a、p和pc输出的地址是一样的,但&a+1与p+1输出的地址是一样的00EFF940，一次都跳过了4字节，而pc+1输出的却是00EFF93D，一次只跳过一个字节。但是硬件与硬件之间是相互独立的，这该如何实现数据传输呢？”答案当然是否定的。
clang frontEnd插件 常见Traverse函数、Visit函数 例子
_
05-17 69
clang插件
C语言如何在链表中的指定位置插⼊结点？
PAP
05-15 263
C语言如何在链表中的指定位置插⼊结点？
yolov5 int8量化注意事项
12-16
yolov5 int8量化注意事项如下： ```python 1. 首先，需要使用TensorRT 7.2或更高版本进行量化。 2. 在量化之前，需要使用COCO数据集对模型进行训练。...8. 在量化之后，需要使用TensorRT进行推理。 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

澄鑫

谢谢，将继续努力提供技术方案

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值