QAT 量化感知训练流程

QAT

Quantization-Aware Training（QAT，量化感知训练）是一种训练深度学习模型的方法，它在训练过程中模拟量化的影响，以便最终部署到低精度硬件（如 INT8 计算）时仍能保持较好的精度。

QAT 训练流程：

1. 预训练（Pre-training）

• 先用**全精度（FP32）**训练模型，使其收敛并获得较好的性能。
• 此阶段的目标是获得一个基础模型，为后续的量化训练做准备。

2. 插入量化运算（Quantization Simulation）

• 在前向传播（Forward Pass）时，模拟量化计算：
  • 将权重（Weights）和激活值（Activations）在训练过程中模拟转换为 INT8（但仍以 FP32 进行梯度计算）。
  • 例如，PyTorch 的 torch.quantization.FakeQuantize 通过模拟量化噪声，确保训练过程考虑低精度计算的影响。
• 这一步骤的核心是使用Fake Quantization：
  • 仍然使用 FP32 进行计算，但插入一个**量化-反量化（Quant-Dequant）**的仿真模块： 

• • 这可以让模型在训练过程中适应 I