【论文分享】A White Paper on Neural Network Quantization【1，2】引言和基础知识

本文主要是神经网络量化的基础知识，比较难啃，初学者不建议直接观看。

摘要

• 神经网络以高计算成本取得前沿进展，因此将现有的网络集成到有严格的功率和计算要求的边缘设备需要降低神经网络推理的功率和延迟。
• 神经网络量化是最有效的实现方法之一，但是它诱导的额外噪声会导致精度下降。
• 本文介绍了SOTA算法（减轻量化噪声对网络性能的影响他同时保持低比特权值和激活），从硬件驱动的量化介绍开始，然后考虑了两类主要的算法：训练后量化（PTQ）和量化感知训练（QAT）。
  • PTQ不需要重新训练或标记数据，因此是一种轻量级的量化按钮方法。大多数情况下，PTQ可以实现接近浮点精度的8位量化。
  • QAT需要微调和访问标记训练数据，但可以实现具有竞争性结果的较低比特量化。
• 本文基于现有文献和扩展实验提供了测试好的pipelines，这些pipeilines对于常见的深度学习模型和任务达到了SOTA的性能。

1. 引言

研究问题及现有研究和本文结构

随着深度学习作为一种将智能注入电子设备的通用工具越来越受到大家的欢迎，小型化、低能耗、低延迟的神经网络解决方案必要性逐渐增加。如今神经网络可以再许多电子设备和服务中找到，从智能手机、智能眼镜和家用电器到无人机、机器人、自动驾驶。这些设备通常对神经网络的执行过程有着严格的时间限制或者在长期执行时对功耗有则严苛的要求。

减少神经网