微软：FP4量化方法训练LLM

📖标题：Optimizing Large Language Model Training Using FP4 Quantization
🌐来源：arXiv, 2501.17116

🌟摘要

🔸训练大型语言模型（LLM）的计算需求不断增长，需要更有效的方法。量化训练通过实现低位算术运算来降低这些成本，提供了一种有前景的解决方案。虽然FP8精度已经证明是可行的，但由于量化误差大和表示能力有限，利用FP4仍然是一个挑战。
🔸这项工作为LLM引入了第一个FP4训练框架，通过两项关键创新解决了这些挑战：用于精确权重更新的可微分量化估计器和用于防止激活崩溃的异常值箝位和补偿策略。为了确保稳定性，该框架集成了混合精度训练方案和矢量量化。
🔸实验结果表明，我们的FP4框架实现了与BF16和FP8相当的精度，退化最小，可有效扩展到在多达100B个令牌上训练的13B参数LLM。随着支持FP4的下一代硬件的出现，我们的框架为高效的超低精度训练奠定了基础。

🛎️文章简介

🔸研究问题：大语言模型（LLM）训练中使用FP4格式进行量化时，由于量化误差和表示能力有限，导致训练精度下降和计算效率低下。
🔸主要贡献：论文提出了一种基于FP4量化的训练框架，通过引入可微分梯度估计器和异常值钳位补偿策略，显著减少了量化误差，使得FP4训练在保持模型性能的同时大幅降低了计算和内存需求。

📝重点思路

🔸可微分梯度估计器（DGE）：为了解决量化函数不可微分的问题，论文提出了一种可微分梯度估计器，通过在反向传播中引入梯度校正项，减少了低比特量化中的梯度估计误差。
🔸异常值钳位与补偿（OCC）：针对激活张量中的异常值问题，论文提出了一种异常值钳位与补偿策略，通过钳位异常值并使用稀疏辅助矩阵进行补偿，减少了量化误差并保持了模型性能。
🔸FP4量化实现：论文详细描述了FP4量化的实现方法，包括使用查找表进行量化、向量级量化策略（激活张量按token量化，权重张量按通道量化）等。
🔸实验验证：论文在多个规模的LLM上进行了实验，比较了FP4与BF16混合精度训练的性能，验证了FP4训练框架的有效性。

🔎分析总结

🔸训练损失对比：FP4训练框架在LLaMA模型（1.3B、7B、13B）上的训练损失与BF16训练框架接近，尽管FP4的训练损失略高，但差距非常小。
🔸下游任务性能：在零样本下游任务评估中，FP4训练的模型表现与BF16训练的模型相当，甚至在某些任务上略优于BF16模型。
🔸量化方法有效性：通过消融实验验证了可微分梯度估计器和异常值钳位补偿策略的有效性，表明这些方法显著减少了量化误差并保持了模型性能。
🔸量化粒度的影响：实验表明，激活张量的量化比权重张量更具挑战性，向量级量化策略（token-wise和channel-wise）比张量级量化更有效。
🔸硬件兼容性：尽管当前硬件不支持FP4张量核心，所有实验都基于FP4的模拟来实现，未来需要有硬件支持FP4计算核心。

💡个人观点

论文的核心是通过可微分梯度估计器和异常值钳位与补偿方法，论证了FP4训练的可行性。

🧩附录