基于权值熵的深度神经网络量化

本文介绍了一种基于加权熵的深度神经网络量化方法,适用于资源受限的嵌入式系统。该方法能自动选择量化比特位数,权衡精度与性能。通过分析权重和激活值的分布,优化量化策略,确保低精度损失。实验证明,该方法在多种任务(如分类、检测和语言模型)上有效,并可用于AlexNet, GoogleNet, ResNet等网络结构。" 102403202,8530570,数据链路层详解:从点对点到广播信道,"['网络协议', '数据链路层', '通信规程', '以太网', '网络适配器']
摘要由CSDN通过智能技术生成

原创作品,转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=88,作者:DaPalm-大数据,怕了么?

 

论文: Weighted-Entropy-based Quantization for Deep Neural Networks  (CVPR2017)

链接:http://openaccess.thecvf.com/content_cvpr_2017/papers/Park_Weighted-Entropy-Based_Quantization_for_CVPR_2017_paper.pdf

代码地址:https://github.com/EunhyeokPark/script_for_WQ

1.绪论部分:

      量化是优化神经网络模型前向计算耗时的最有效的方法之一,以便它们部署到资源受限的移动或嵌入式系统中。在这类方法中,最重要是提供低精度损失量化。在这篇论文中,作者提出了一种基于加权熵概念的量化权值和激活值的方法。它不像最近的二值化神经网络,作者提出的方法是根据目标精度来选择量化的比特位数。这种方法更加方便的去权衡精度与性能,以便更合理的选择量化级别。虽然,作者提供了这种自动量化策略,但是对于传统训练算法来说也是很轻易使用的。作者进行大量实验,如分类(AlexNet,GoogleNet,ResNet-50/101),检测(R-FCN with ResNet-50)和语言模型(LSTM网络),不用多说,肯定是有效果的。

2.相关工作ÿ

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值