深度学习-78-大模型量化之Quantization Aware Training量化感知训练QAT

最新推荐文章于 2025-04-18 21:27:43 发布
最新推荐文章于 2025-04-18 21:27:43 发布
阅读量533 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 量化感知训练 QAT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20466211/article/details/144694090
版权

文章目录

1 量化感知训练

PTQ方法的一个缺点是，这种量化并未考虑实际的训练过程。如前所述，在推理时通过量化将weights和activations压缩为8位或更低的精度(如4位或2位)，会带来模型精度的损失。

这就是量化感知训练(Quantization Aware Training, QAT)发挥作用的地方。

1.1 QAT的核心思想

与使用训练后量化(Post-Training Quantization, PTQ)不同，QAT通过在模型训练过程中模拟低精度计算(如 8位整数计算)来减少推理阶段的精度损失。

QAT的核心思想是让模型在训练过程中意识到量化带来的误差，以便更好地适应量化后的环境。
在这里插入图片描述

在量化感知训练过程中，模型的权重和激活在前向传播时会被模拟量化，而反向传播时则继续使用高精度的浮点数进行梯度更新。

这种方法既能保持训练的精度，又能让模型意识到推理阶段量化带来的误差，从而在反向传播中对权重的优化过程中进行误差补偿。

QAT往往比PTQ更精确，因为在训练过程中已经考虑了量化。

1

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习-76-大模型量化之压缩映射方法和量化校准方法简介
qq_20466211的博客
12-23 408
量化的核心目标是将模型中的浮点数权重和激活值转换为低精度数值表示，同时保持模型的准确性和性能尽可能不受影响。更具体一点来说，量化通过使用更小的数据类型（如 INT8、FP16 等）表示模型中的权重和激活值，而不是标准的 32 位浮点数。
模型量化——NVIDIA——QAT
TigerZ*的博客
08-09 454
本文讲解如何使用QAT进行量化，并针对YOLO系列进行了代码演示，开箱即用量化YOLO v5、YOLO V8 等热门的检测模型，增强自己的竞争力，强力推荐吆。
0009-极智AI-解读深度学习PTQ后量化算法系列-个人笔记
09-05
0009_极智AI_解读深度学习PTQ后量化算法系列-个人笔记
浅谈量化感知训练（QAT）
eso1983的博客
02-03 2330
在训练阶段，就提前让模型“体验”被压缩后的效果（模拟低精度计算），这样模型自己会调整参数，尽量适应压缩后的环境。假设你训练了一个神经网络模型（比如人脸识别），效果很好，但模型太大（比如500MB），手机根本跑不动。反向传播时，用**直通估计器（STE）**绕过量化操作的梯度问题（简单理解：假装量化没误差，直接传梯度）。：直接压缩（训练后量化，PTQ）会导致精度暴跌，就像把高清图片压缩成马赛克，关键细节全丢了！：把模型参数（权重）从32位浮点数（FP32，高精度）转成8位整数（INT8，低精度）。
量化感知训练（QAT）
最新发布
2301_79427554的博客
04-18 596
量化感知训练通过将量化误差纳入训练优化目标，显著提升了低比特模型的精度，成为模型压缩与加速的核心技术之一。其应用从移动端扩展到大型语言模型，未来随着1比特量化、动态策略等发展，QAT将在AI部署中发挥更关键作用。
【算能】量化感知训练（QAT）深度解析
浩瀚之水的专栏
04-03 598
QAT通过训练时量化模拟与梯度修正，成为高精度低比特推理的核心技术。在算能TPU生态中，开发者需结合TPU-MLIR工具链与硬件特性，精细调控量化策略（如混合精度、稀疏优化），以实现最佳能效比。关键成功要素包括：​敏感层识别、动态范围学习及训练稳定性控制。对于极致精度场景，QAT是优于PTQ的解决方案，但需权衡其额外训练成本。
模型量化（三）—— 量化感知训练QAT（全代码）
全栈O-Jay的博客
03-13 1万+
详细介绍QAT，附有代码。
量化感知训练QAT，quantization aware training
邹九的个人博客
12-04 9697
在win10打开cmd命令行使用 ssh-keygen 命令，生成相应的私钥和公钥，这里一直按Enter键即可，生成的
量化感知训练QAT(Quantification Aware Training)
L888666Q的博客
07-08 4710
为了减少网络模型的空间占用和运行速度，除了在网络方面进行改进，模型剪枝和量化算是最常用的优化方法。
【Keras模型量化】之量化感知训练 Quantization Aware Training（tfmot）
化甘
11-28 2993
文章目录Quantization aware training 简介ReferenceAPI兼容性使用示例实际遇到问题 Quantization aware training 简介 Quantization aware training 即 量化感知训练，主要是使用tfmot.quantization.keras.quantize_model。 相较于训练后量化（可参考之前的博客：），没那么易于使用，但量化感知训练在模型准确率方面的表现通常更好。 个人理解：不是针对参数进行量化，而是在构建模型后，针对模型结
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
05-08
量化过程通常包括两个阶段：量化感知训练（Quantization-Aware Training）和后量化（Post-Quantization）。 量化感知训练是先在浮点数据上进行训练，然后模拟量化效果，以调整模型参数，使其适应量化后的精度损失。...
量化敏感层分析Quantization-Aware-Training（QAT）
qq_44089890的博客
04-08 4032
与量化预训练模型的训练后量化 (PTQ) 不同，QAT 涉及在训练过程本身中量化模型。定义量化模型：定义一个与原始模型结构相同但增加了量化操作（如torch.quantization.QuantStub()）和反量化操作（如torch.quantization.DeQuantStub()）的量化模型。如果PTQ中模型训练和量化是分开的，而QAT则是在模型训练时加入了伪量化节点，用于模拟模型量化时引起的误差。重新量化：在训练过程中，使用反量化操作重新量化模型参数，并使用新的量化参数继续训练。
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果比对; 3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
tensorflow实现quantization-aware training（伪量化，fake quantization）
热门推荐
lishanlu136的博客
03-28 1万+
前面一篇文章讲模型优化的时候有讲到量化模型，但那只是量化权重，在实际计算的时候还是会反量化回去，用float32位计算，没有进行实际意义上的定点运算。今天讲的这个方式是可以部署在移动端进行定点运算的，乘现在网上关于这方面资料很少，赶紧写一篇，求赞呀~~~ 源代码位置：tensorflow/contrib/quantize/ github参考：https://github.com/tensorf...
QAT（Quantization Aware Training）量化感知训练（二）【详解】
qq_23022733的博客
03-09 761
...
【AI系统】感知量化训练 QAT
ZOMI酱
12-06 2304
本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。QAT 通过在模型中插入伪量化节点（FakeQuant）来模拟量化误差，并在训练过程中最小化这些误差，最终得到一个适应量化环境的模型。文中还会讨论伪量化节点的作用、正向和反向传播中的处理方式，以及如何在 TensorRT 中使用 QAT 模型进行高效推理。
实现高效模型优化：深入解析量化感知训练（QAT）
weixin_52734695的博客
08-10 790
量化感知训练（QAT）作为深度学习模型优化的重要技术，通过在训练过程中引入量化操作，能够显著提升模型在资源受限设备上的运行效率，同时保持高精度。在实际应用中，通过QAT，开发者可以在不牺牲模型性能的情况下，最大限度地优化模型的推理速度。
PyTorch QAT（量化感知训练）实践——基础篇
Enjoy Coding
07-25 7057
本文介绍了int8量化和QAT的原理，并基于PyTorch介绍了提供的PTQ和QAT的方法。
模型量化感知训练开山之作：LLM-QAT
12-29
### 关于LLM-QAT的研究背景 大型语言模型（LLMs）由于其庞大的参数量，在实际部署过程中面临计算资源消耗巨大的挑战。为了降低这些模型的推理成本并提高效率，研究者们提出了多种优化技术，其中包括量化感知训练（Quantization Aware Training, QAT）。对于特定领域内的应用——即针对大规模预训练的语言模型实施QAT，则通常被称为LLM-QAT。 ### LLM-QAT开山之作及其贡献 一篇具有里程碑意义的工作是由Hawkins et al.发表的一篇论文《Generalized Quantization for Efficient Transformer Inference》[^1]。该研究表明通过引入模拟量化误差到训练过程中的方式来调整权重更新规则，可以在不影响原始精度的前提下显著减少模型大小和加速推断速度。此方法不仅适用于小型网络结构，同样能够有效应用于复杂的Transformer架构之上。 ### 实现细节和技术要点 在这项工作中提出的实现方案主要包括以下几个方面： - **伪量化操作**：在网络前向传播阶段加入额外节点用于执行浮点数至整数表示形式之间的转换；而在反向传播时则忽略这部分影响以保持梯度流稳定。 ```python import torch.nn as nn class FakeQuantize(nn.Module): def __init__(self, quant_min=-128, quant_max=127): super().__init__() self.quant_min = quant_min self.quant_max = quant_max def forward(self, x): scale = (self.quant_max - self.quant_min) / (x.max() - x.min()) zero_point = int(-scale * x.min().item()) + self.quant_min qx = ((x / scale).round_() + zero_point).clamp_(self.quant_min, self.quant_max) return (qx - **自适应缩放因子与零点偏移**：根据不同层或通道特性动态设定最佳映射范围，从而使得整个系统的数值分布更加均匀合理。 - **混合精度策略**：允许部分敏感组件保留较高分辨率的同时对其它非关键路径采用较低位宽表达，以此达到性能最优配置目的。 上述措施共同作用下实现了对原有模型的有效压缩而不损失过多预测准确性，为后续更多深入探索奠定了坚实基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

皮皮冰燃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值