《Learning both Weights and Connections for Efficient Neural Networks》阅读笔记

参考链接:https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/

主要思想:
作者的方法分为三个步骤:

  1. Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度
  2. Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0(即所谓剪枝)
  3. Re-Train: 重新训练,以期其他未被剪枝的权重能够补偿pruning带来的精度下降

怎么训练?
剪枝前,使用L1或者L2正则化对模型参数进行约束。L1剪枝后,不训练的模型效果更好。但是按照L2训练,剪枝之后重新训练,恢复的准确率更高。

Dropout的选择?
在重新训练的时候,需要将dropout的比例调低。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值