量化方案综述
这篇文章提出了一种量化神经网络到INT8的通用解决方案,包括量化后精度损失,通过training scheme来弥补精度等。
主要包含三点:
- 提出一种通用的量化方案,同时量化weight和activation
- 提出弥补量化后精度损失的训练方案
- 在MobileNet上实验以证明其有效性
IAO算法实现过程
1.过程综述
- 对量化的实现是通过把常见操作转换为等价的八位版本达到的。
- 涉及到的操作包括卷积,矩阵乘法,激活函数,池化操作,拼接等。
- 转换脚本:把每个已知的操作替换为等价的量化版本
- 然后在操作的前后加上含有转换函数的子图,将input从浮点数转换为 8 bit
- 再把output 从8 bit 转回浮点数。
我们以ReLU操作为例介绍整个过程。
2.Quantization Inference
-
basics about Quantization Inference