【零样本知识蒸馏】（一）Zero-shot Adversarial Quantization

论文地址：

https://arxiv.org/abs/2103.15263

代码地址：

https://github.com/FLHonker/ZAQ-code

主要问题：

为了在不访问训练数据的情况下实现零样本模型量化，少数量化方法采用训练后量化或批归一化统计引导的数据生成进行微调，然而两者都不可避免地性能较低，因为前者有点过于经验化，缺乏对超低精度量化的训练支持，而后者不能完全恢复原始数据的特性，对于不同数据生成的效率往往较低

具体思路：

为了解决上述问题，作者提出了一个零样本对抗性量化（ZAQ）框架，促进了从一个全精度模型到其量化模型有效的差异估计和知识转移，该算法以驱动生成器合成信息和不同的数据实例，以对抗性学习的方式优化量化模型

具体实现：

整体框架：