2021:Zero-shot Adversarial Quantization
Abstract
模型量化是一种很有前途的压缩深度神经网络和加速推理的方法,使其能够部署在移动设备和边缘设备上。// 为了保持全精度模型的高性能,大多数现有的量化方法都集中于通过假设训练数据集是可访问的,对量化模型进行微调。然而,由于数据隐私和安全问题,这一假设在实际情况下有时不被满足,因此使这些量化方法不适用。// 为了在不访问训练数据的情况下实现零样本模型量化,少量的量化方法采用训练后量化或批量归一化统计引导的数据生成进行微调。但是,由于前者具有过低的经验性,缺乏对超低精度量化的训练支持,而后者不能完全恢复原始数据的特性,对于不同的数据生成的效率往往较低。为了解决上述问题,我们提出了一个零样本对抗性量化(ZAQ)框架,促进有效的差异估计和知识迁移从一个全精度模型到其量化模型。// 这一段翻译有问题&#