地平线量化方案QAT原理介绍及实践，包含源代码

最新推荐文章于 2024-04-09 19:51:03 发布

Charmve

最新推荐文章于 2024-04-09 19:51:03 发布

阅读量878

点赞数

分类专栏：【硬件加速+模型压缩+边缘计算】研究《自动驾驶中的深度学习模型量化、部署、加速实战》（源代码）文章标签：算法人工智能模型部署自动驾驶

本文链接：https://blog.csdn.net/Charmve/article/details/128960873

版权

【硬件加速+模型压缩+边缘计算】研究同时被 2 个专栏收录

19 篇文章 49 订阅 ¥39.90 ¥99.00

订阅专栏

《自动驾驶中的深度学习模型量化、部署、加速实战》（源代码）

14 篇文章 0 订阅 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了地平线的量化感知训练（QAT）方案，包括QAT原理、环境部署、模型准备、QAT模型量化过程，以及量化训练策略。QAT通过在浮点模型中插入伪量化节点来提高量化后的精度，涉及的工具和配置如prepare_qat_fx、qconfig_dict和prepare_custom_config_dict。文章还提供了模型结构检查、量化精度验证的方法，以及模型编译上板的步骤。

摘要由CSDN通过智能技术生成

1 what is QAT？

QAT全称为quantization aware training，是一种模型量化手段，通过在训练过的浮点模型中插入伪量化节点来实现后续的精度fintune，因此QAT相较于PTQ来说往往精度会更高。由于定点数值无法用于反向梯度计算，实际操作过程是在某些op前插入伪量化节点（fake quantization nodes），用于在训练时获取流经该op的数据的截断值或分布，便于在部署量化模型时对节点进行量化。

在这里插入图片描述

如上图所示，a为量化的定点模型，数据和模型权重均已变为定点数，通常情况下我们希望后量化（PTQ）能直接得到a所示的定点模型，并且精度不会损失太多。如果精度损失太多，则需要借助图b所示的量化感知训练（QAT）减少量化误差。QAT的基本原理是在浮点模型中插入伪量化节点，使得模型在训练中可以感知到量化误差，减少量化损失的精度。如上图b所示，在模型中针对conv-weight和activation插入FakeQuanti节点。由FakeQuanti模拟量化过程，weight会学习到量化的

了解本专栏