quantizing deep convolutional networks for efficient inference

标题: 量化深层卷积网络用于有效推理

摘要

本文综述了一种量化卷积神经网络的方法，用于整数权重和激活的推理。

1. 采用每个通道权重量化和每层激活量化到8位精度方法, 会对网络模型测试精度下降2%左右. 优点是适用于各种CNN架构。
2. 通过将权重量化为8位，模型大小可以减少4倍. 即使不支持8位算法，也可以通过简单的训练后权重量化来实现。
3. 我们对CPU和DSP上网络量化产生的延迟进行基准测试，并观察到量化使得模型推理达到2-3倍加速. 与CPU相比，具有固定点SIMD功能的专用处理器（如带有HVX的Qualcomm QDSP）的加速高达10倍。
4. 量化感知训练可以提供进一步的改进，将8位精度下的浮点间距减少到1%。量化感知训练还允许将权重精度降低到4位，精度损失从2%到10%，对于较小的网络工程，精度下降更高。
5. 我们介绍的工具对tensorflow 和tensorflowLite做量化卷积网络操作.
6. 我们回顾了量化感知训练的最佳实践，以获得量化权重和激活的高精度。
7. 我们建议每个通道权重量化和每层激活量化是硬件加速和内核优化的首选量化方案。我们还建议未来用于优化推理的处理器和硬件加速器支持4、8和16位精度。