原创作品,转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=88,作者:DaPalm-大数据,怕了么?
论文: Weighted-Entropy-based Quantization for Deep Neural Networks (CVPR2017)
链接:http://openaccess.thecvf.com/content_cvpr_2017/papers/Park_Weighted-Entropy-Based_Quantization_for_CVPR_2017_paper.pdf
代码地址:https://github.com/EunhyeokPark/script_for_WQ
1.绪论部分:
量化是优化神经网络模型前向计算耗时的最有效的方法之一,以便它们部署到资源受限的移动或嵌入式系统中。在这类方法中,最重要是提供低精度损失量化。在这篇论文中,作者提出了一种基于加权熵概念的量化权值和激活值的方法。它不像最近的二值化神经网络,作者提出的方法是根据目标精度来选择量化的比特位数。这种方法更加方便的去权衡精度与性能,以便更合理的选择量化级别。虽然,作者提供了这种自动量化策略,但是对于传统训练算法来说也是很轻易使用的。作者进行大量实验,如分类(AlexNet,GoogleNet,ResNet-50/101),检测(R-FCN with ResNet-50)和语言模型(LSTM网络),不用多说,肯定是有效果的。
2.相关工作ÿ

本文介绍了一种基于加权熵的深度神经网络量化方法,适用于资源受限的嵌入式系统。该方法能自动选择量化比特位数,权衡精度与性能。通过分析权重和激活值的分布,优化量化策略,确保低精度损失。实验证明,该方法在多种任务(如分类、检测和语言模型)上有效,并可用于AlexNet, GoogleNet, ResNet等网络结构。"
102403202,8530570,数据链路层详解:从点对点到广播信道,"['网络协议', '数据链路层', '通信规程', '以太网', '网络适配器']
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



