基于权值熵的深度神经网络量化

原创作品，转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=88,作者:DaPalm-大数据，怕了么？

 

论文： Weighted-Entropy-based Quantization for Deep Neural Networks  (CVPR2017)

链接：http://openaccess.thecvf.com/content_cvpr_2017/papers/Park_Weighted-Entropy-Based_Quantization_for_CVPR_2017_paper.pdf

代码地址：https://github.com/EunhyeokPark/script_for_WQ

1.绪论部分：

      量化是优化神经网络模型前向计算耗时的最有效的方法之一，以便它们部署到资源受限的移动或嵌入式系统中。在这类方法中，最重要是提供低精度损失量化。在这篇论文中，作者提出了一种基于加权熵概念的量化权值和激活值的方法。它不像最近的二值化神经网络，作者提出的方法是根据目标精度来选择量化的比特位数。这种方法更加方便的去权衡精度与性能，以便更合理的选择量化级别。虽然，作者提供了这种自动量化策略，但是对于传统训练算法来说也是很轻易使用的。作者进行大量实验，如分类(AlexNet,GoogleNet,ResNet-50/101),检测(R-FCN with ResNet-50)和语言模型(LSTM网络)，不用多说，肯定是有效果的。

2.相关工作ÿ