QDrop 随即丢弃量化激活

背景

在极低比特的量化中，精度始终无法提升上去。作者团队认为是现有的理论分析只考虑了权重量化，然而忽视了激活的量化。激活量化有利于PTQ在低比特的精度提升，并且作者发现部分的激活量化更有利。

突出贡献

1.证实了激活量化在PTQ重建中的好处，并且令人惊讶地观察到部分参与激活量化的表现优于全部参与。

2.建立了一个理论框架，深入分析了激活量化对权值调谐的影响。利用该框架，优化的低比特模型在校准数据和测试数据上的平坦度对最终精度至关重要。

理论分析

经验观察强调了离线量化中激活值量化的重要性。为了进一步探索激活值量化将如何影响权重微调，作者构建了较为完整的理论框架，通过同时将激活值量化也模拟成噪声来分析最终损失目标。

a）是原本AdaRound和BRECQ的优化目标，（b）是引入激活值量化之后带来的新的一项。在校准数据 X上，对于激活值量化噪声u（x），存在相应的v(x)，使得量化后的模型在v(x)的扰动下更加平坦。回顾之前的三个Case，Case 2和3都引入了激活值量化，额外优化了（b）这一项，并得到了更平坦的量化后模型。