模型量化——NVIDIA——QAT

于 2024-08-09 17:43:47 发布
阅读量80 收藏
点赞数
分类专栏： GPU编程&模型加速 文章标签： 计算机视觉 图像处理 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/141067645
版权

概述

    QAT 截止目前（20230418）的CUDA 实现并不在pytorch 原生包中（不等同于pytorch 的QAT，它主要支持CPU），需要引入NVIDIA 的第三方包“pytorch-quantization”。需要TRT8+ 、 pytorch 1.8 +。主要流程如下：

    工具流转方向如下：

    所以目前我的理解+咨询了NVIDIA官方人员，当前仅仅下面支持的算子是INT8的：

QuantConv1d, QuantConv2d, QuantConv3d,

QuantConvTranspose1d, QuantConvTranspose2d, QuantConvTranspose3d

QuantLinear

了解本专栏 订阅专栏 解锁全文 超级会员免费看
TigerZ*
关注
专栏目录
订阅专栏
Nvidia官方实现： 量化感知训练QAT和稀疏化Sparsity
@bangbang的博客
06-08 904
TensorRT 的 pytorch_quantization 是一个实现的。
模型量化（三）—— 量化感知训练QAT（全代码）
全栈O-Jay的博客
03-13 6166
详细介绍QAT，附有代码。
简单理解nvidia tensorRT模型量化原理
人生虚空
06-29 1544
参考资料： 某人的量化原理笔记 https://blog.csdn.net/sinat_31425585/article/details/101607785 某人对int8比较详细的介绍 https://zhuanlan.zhihu.com/p/58182172 某人对ncnn的量化原理和源码理解(ncnn量化是基于tensorRT改进的) https://zhuanlan.zhihu.com/p/72375164 一、两张图粗糙理解量化思路 一句话把原始值等比例映射到-127~127, 以便.
TensoRT量化第四课：PTQ与QAT
周同学的博客
05-04 7312
TensorRT量化第四课笔记
一文了解模型量化中的QAT和PTQ
m0_38043555的博客
06-27 2万+
一文了解模型量化中的QAT和PTQ 由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32精度外，都支持了int8的精度，而量化到int8常常可以使我们的模型更小更快，所以在部署端很受欢迎。 常用的模型量化方式有训练中量化，QAT,和训练后量化，PTQ，之前转trt时，用的就是PTQ，在一些常用的模型上表现还不错，几乎没有什么掉点，但是在复杂模型，如带有swish的模型啊，或者nas搜出来的模型
模型量化——NVIDIA——方案选择(PTQ、 partialPTQ、 QAT)
最新发布
TigerZ*的博客
04-09 427
本文主要介绍NVIDIA 模型量化方案的选型思路（主要有三种：PTQ、 partialPTQ、 QAT）。并且对其中涉及的知识点进行了提炼总结。
模型压缩-网络量化概述
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
03-25 605
所谓量化，其实可以等同于低精度（Low precision）概念，常规模型精度一般使用 FP32（32 位浮点数，单精度）存储模型权重参数，低精度则表示使用 INT8、FP16 等权重数值格式。 模型量化（Model Quantization，也叫网络量化）过程分为两部分：将模型的单精度参数（一般 FP32-32位浮点参数）转化为低精度参数（一般 INT8-8 位定点参数），以及模型推理过程中的浮点运算转化为定点运算，这个需要推理框架支持。
工程之道，深度学习的工业级模型量化实战
旷视开发者技术社区
08-26 642
MegEngine 提供从训练到部署完整的量化支持，包括量化感知训练以及训练后量化，凭借“训练推理一体”的特性，MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介...
deeplearning模型量化实战
吴建明wujianming_110117
02-17 368
deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持，包括量化感知训练以及训练后量化，凭借“训练推理一体”的特性，MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理，并与大家分享MegEngine量化方面的设计思路与实操教程。 背景 近年来随着边缘计算和物联网的兴起与发展，许多移动终端（比如手机）成为了深度学习应用的承载平台，甚至出现了各式各样专用的神经网络计算芯片。由于这些设备往往对计算资源和能耗有较大限制，因此在高性能服务器
Nvidia TensorRT Document-- int8量化部分
weixin_50180730的博客
11-11 1386
Nvidia TensorRT Document-- int8量化部分
PyTorch量化感知训练（QAT）步骤
十二月未央未眠
06-03 5846
量化感知训练步骤
一文搞懂模型量化算法
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-16 1609
模型量化是指将神经网络的浮点算法转换为定点。量化有一些相似的术语，低精度（Low precision）可能是常见的。 低精度模型表示模型权重数值格式为 FP16（半精度浮点）或者 INT8（8位的定点整数），但是目前低精度往往就指代 INT8。 常规精度模型则一般表示模型权重数值格式为 FP32（32位浮点，单精度）。 混合精度（Mixed precision）则在模型中同时使用 FP32 和 FP16 的权重数值格式。 FP16 减少了一半的内存大小。
利用TensorRT实现INT8量化感知训练QAT
ZONGXP的博客
10-22 9034
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更大的动态范围。然而，在推理时，这些模型可能需要更长的时间来预测结果相比，精度降低推理，造成一些延迟的实时响应，并影响用户体验。 在许多情况下，最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度，特别是当权重具有较大的动态范围时。本文简单..
神经网络（模型）量化介绍 - PTQ 和 QAT
77wpa的博客
02-03 8404
量化主要是一种加速推理的技术，量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术，与浮点实现相比，通常是 int8。模型尺寸缩小 4 倍；内存带宽减少 2-4 倍；由于内存带宽的节省和使用 int8 算法的更快计算，推理速度提高了 2-4 倍（确切的加速取决于硬件、运行时和模型）。然而，量化并非没有额外代价。从根本上说，量化意味着引入近似值，由此产生的网络精度略低。这些技术试图最小化完整浮点精度和量化精度之间的差距。
量化感知训练QAT(Quantification Aware Training)
L888666Q的博客
07-08 4326
为了减少网络模型的空间占用和运行速度，除了在网络方面进行改进，模型剪枝和量化算是最常用的优化方法。
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
热门推荐
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
yolov5 qat量化部署
09-27
YOLOv5 QAT（量化感知训练）是一种用于将YOLOv5模型量化部署的方法。量化意味着将浮点模型转换为定点模型，以减少模型的存储空间和计算量。 YOLOv5 QAT采用了引入量化感知训练的方法，其基本原理是在模型训练的过程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值