Google CNN Quantization: Theory and Implementation

量化方案综述

这篇文章提出了一种量化神经网络到INT8的通用解决方案，包括量化后精度损失，通过training scheme来弥补精度等。

主要包含三点：

• 提出一种通用的量化方案，同时量化weight和activation
• 提出弥补量化后精度损失的训练方案
• 在MobileNet上实验以证明其有效性

IAO算法实现过程

1.过程综述

1. 对量化的实现是通过把常见操作转换为等价的八位版本达到的。
2. 涉及到的操作包括卷积，矩阵乘法，激活函数，池化操作，拼接等。
3. 转换脚本：把每个已知的操作替换为等价的量化版本
4. 然后在操作的前后加上含有转换函数的子图，将input从浮点数转换为 8 bit
5. 再把output 从8 bit 转回浮点数。

我们以ReLU操作为例介绍整个过程。

2.Quantization Inference

• basics about Quantization Inference