一文了解模型量化中的QAT和PTQ

已于 2022-11-27 02:13:10 修改
阅读量2.4w 收藏 102
点赞数 31
分类专栏： 笔记 文章标签： 深度学习
于 2021-06-27 20:05:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38043555/article/details/118278641
版权

一文了解模型量化中的QAT和PTQ

由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32精度外，都支持了int8的精度，而量化到int8常常可以使我们的模型更小更快，所以在部署端很受欢迎。

常用的模型量化方式有训练中量化，QAT,和训练后量化，PTQ，之前转trt时，用的就是PTQ，在一些常用的模型上表现还不错，几乎没有什么掉点，但是在复杂模型，如带有swish的模型啊，或者nas搜出来的模型，表现就不尽人意了，主要是这些模型的参数分布比较奇怪或者是激活值分布没有很强的规律，导致量化失效。而QAT则避免了这一问题，通过在训练过程中去缩小这种误差，可以达到更好的性能。下面大概介绍一些这两种方法。

PTQ

首先是PTQ，以tensorrt的Int8量化为例，它的原理是什么呢，简单概括就是对于常用的模型，如googlenet，resnet等，图片经过网络生成的特征图的值往往具有相同的规律。如下图所示：
在这里插入图片描述
图中的绿点表示很多张图的统计结果，所以我们可以看出对于同一模型，任意图的特征激活值都呈现了低激活值高密度的特点，而比较大的那些值所占的比例微乎其微，可以忽略不计，根据这个特点，我们在量化

最低0.47元/天 解锁文章
菜鸟滚滚
关注
专栏目录
模型量化——NVIDIA——方案选择(PTQ、 partialPTQ、 QAT)
TigerZ*的博客
04-09 438
本文主要介绍NVIDIA 模型量化方案的选型思路（主要有三种：PTQ、 partialPTQ、 QAT）。并且对其中涉及的知识点进行了提炼总结。
yolov8 PTQ和QAT量化实战(源码详解)
@bangbang的博客
01-07 2465
量化（）：是指将高精度浮点数(FP32)转换为低精度(8bit或4bit)整数的过程，它是模型部署中的一种非常重要的优化方法，可以在较少的精度损失下，大幅提供神经网络的效率和性能。目前主流的神经网络量化方式有PTQ和QATPTQ是训练后量化()，无需数据集和训练，直接量化模型权重QAT是量化感知训练()，量化后需要在数据集上继续微调训练。QAT过程中，我们首先需要选择哪些层需要进行finetune训练，并利用FP32对应层的输出作为监督进行训练。
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
TensoRT量化第四课：PTQ与QAT
周同学的博客
05-04 7407
TensorRT量化第四课笔记
深度学习中的模型量化：深入解析PTQ与QAT
最新发布
weixin_52734695的博客
08-10 946
PTQ，即后训练量化，是一种在模型训练完成后，直接对模型进行量化的方法。PTQ的优势在于它不需要重新训练模型，因此可以应用于已经部署的模型或通过其他方式训练的模型。PTQ通常使用少量的校准数据来调整模型中的权重和激活值，以确保量化后的模型在推理阶段仍然具有较高的精度。QAT，即量化感知训练，是一种在模型训练过程中就考虑量化效果的方法。与PTQ不同，QAT在训练过程中引入了量化操作，模型在训练时即考虑到了量化误差。
深度学习量化总结（PTQ、QAT）
Sriven的博客
04-27 5650
并不是所有的模型，都很适合量化。在实际的生产环境中，我们经常会遇到一些模型，量化之后精度不好，其根本原因是因为浮点阶段的模型并不适合量化。这里说明一些常见的不适合量化的浮点情况。在实际执行的时候，可以通过 debug 工具去发现模型当中不适合量化的部分。受限于量化的方法和编译器的限制，目前量化的 op 实现，会有一些限制或者误差。这种算子的误差一般有两种体现，第一种是 QAT 的时候精度会有影响（情况很少），第二种是 QAT 转 Quantized 的时候精度会有影响。
神经网络（模型）量化介绍 - PTQ 和 QAT
77wpa的博客
02-03 8511
量化主要是一种加速推理的技术，量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术，与浮点实现相比，通常是 int8。模型尺寸缩小 4 倍；内存带宽减少 2-4 倍；由于内存带宽的节省和使用 int8 算法的更快计算，推理速度提高了 2-4 倍（确切的加速取决于硬件、运行时和模型）。然而，量化并非没有额外代价。从根本上说，量化意味着引入近似值，由此产生的网络精度略低。这些技术试图最小化完整浮点精度和量化精度之间的差距。
3.1 PTQ与QAT的介绍
qq_42178122的博客
06-07 2412
PTQ与QAT的介绍
PTQ量化和QAT量化
牵一只蜗牛去散步
10-19 1083
使用一批校准数据对训练好的模型进行校准，将训练好的FP32网络直接转换为定点计算的网络，过程中无需对原始模型进行任何训练，而只对几个超参数调整就可完成量化过程。（计算每一层的scale）同时TensorRT还会进行图优化，当一个OP设置为Int8精度，但其与另一个OP合并会导致速度更快时，TensorRT就会将两个OP合并，并忽略用户设置的INT8精度。使用QAT量化时，会为权重值和激活值插入Q节点（量化节点，FP32→INT8）和DQ节点（反量化节点，INT8→FP32）来模拟量化的过程。
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果比对; 3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
模型量化（三）—— 量化感知训练QAT（全代码）
全栈O-Jay的博客
03-13 6353
详细介绍QAT，附有代码。
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
博学而笃志，切问而近思。
11-12 1206
模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）
YOLOv5-QAT量化部署
周同学的博客
10-15 5131
YOLOv5-QAT量化部署
Pytorch实现卷积神经网络训练量化（QAT）
I good vegetable a!
07-28 9664
1. 前言 深度学习在移动端的应用越来越广泛，而移动端相对于GPU服务来讲算力较低并且存储空间也相对较小。基于这一点我们需要为移动端定制一些深度学习网络来满足我们的日常续需求，例如SqueezeNet，MobileNet，ShuffleNet等轻量级网络就是专为移动端设计的。但除了在网络方面进行改进，模型剪枝和量化应该算是最常用的优化方法了。剪枝就是将训练好的大模型的不重要的通道删除掉，在几乎不影响准确率的条件下对网络进行加速。而量化就是将浮点数（高精度）表示的权重和偏置用低精度整数（常用的有INT8）来近
QAT量化感知训练（一）【详解】
qq_23022733的博客
02-17 1384
......
yolov5 ptq和qat量化
07-28
Yolov5是一种非常流行的目标检测算法，而PTQ（Post Training Quantization）和QAT（Quantization Aware Training）是两种常见的量化技术。 量化是一种减少模型存储和计算需求的技术，可以将浮点数模型转换为固定点数或者低比特数表示。PTQ是一种离线量化技术，它是在训练后对模型进行量化。PTQ首先对模型进行训练，并将模型从浮点数转换为整数或低比特数表示。然后，使用模型的校准数据集对模型进行校准，以确定量化后的模型的精度。最后，量化模型就可以用于推理。 与此相反，QAT是在训练过程中进行的一种在线量化技术。它通过在训练过程中添加量化感知的算法来减小训练和推理之间的精度差距。在QAT过程中，模型参数和激活值都是以浮点数形式存储和计算的，但是在计算梯度和更新参数时，会使用量化的规则进行近似。通过在训练过程中模拟量化的效果，QAT可以有效地减少量化后模型的精度损失，并使得量化后的模型能够更好地保持与原始浮点数模型相似的性能。 综上所述，Yolov5的PTQ和QAT量化技术都是用于减少模型存储和计算需求的技术。PTQ是一种离线量化技术，而QAT是一种在线量化技术。根据具体的应用需求和资源限制，可以选择使用适合的量化技术对Yolov5进行优化。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值