量化感知训练实践：实现精度无损的模型压缩和推理加速

简介：本文以近期流行的YOLOX[8]目标检测模型为例，介绍量化感知训练的原理流程，讨论如何实现精度无损的实践经验，并展示了量化后的模型能够做到精度不低于原始浮点模型，模型压缩4X、推理加速最高2.3X的优化效果。

1. 概述

对深度学习模型进行低比特量化，可以有效地降低模型部署时在存储、计算、通信上的开销，是一种常见的模型压缩和推理优化技术。然而，模型量化在实际应用中仍然存在不少挑战，最为常见的问题就是模型精度下降（如无特殊说明，本文中“模型精度”是指准确率等模型应用于具体任务的效果指标）。以计算机视觉领域为例，在目标检测、图像分割等复杂任务上，量化带来的精度下降更为明显。

通过在模型训练阶段引入量化相关约束，即量化感知训练（Quantization-aware training，QAT），能够更好地解决模型量化的精度问题。本文以近期流行的YOLOX[8]目标检测模型为例，介绍量化感知训练的原理流程，讨论如何实现精度无损的实践经验，并展示了量化后的模型能够做到精度不低于原始浮点模型，模型压缩4X、推理加速最高2.3X的优化效果。

2. 量化原理

在数字信号处理领域，量化是指将信号的连续取值（或者大量可能的离散取值）近似为有限多个（或较少的）离散值的过程。具体到深度学习领域，模型量化是指将浮点激活值或权重（通常以32比特浮点数表示）近似为低比特的整数（16比特或8比特），进而在低比特的表示下完成计算的过程。通常而言，模型量化可以压缩模型参数，进而降低模型存储开销；并且通过降低访存和有效利用低比特计算指令等，能够取得推理速度的提升，这对于在资源受限设备上部署模型尤为重要。

给定浮点类型的值，可以通过如下公式将它转化成8比特量化值：

 其中，表示量化的scale，与分别表示量化值域的最小值与最大值，表示输入浮点值，表示量化后的值。量化值转化为浮点值只需执行反操作即可：

 进一步的，在将输入数据和权重进行量化后，我们就能够将神经网络的常见操作转换为量化操作。以卷积操作为例，其量化版本典型的计算流程如图1所示：

图1 典型的量化卷积算子计算流程图

1. 权重与输入先量化成8bit，进行卷积操作，用32bit来存储中间结果；
2. bias量化为32bit，与进行相加为；
3. 利用、以及的量化scale将32bit的转化为8bit的；
4. 如果该层的下一层也是量化OP，则可直接输出给下一层；如果是非量化OP，则将