深度学习 loss下降后上升在下降_解读“深度学习最新进展(2020)” Part 5

99e19b3821fba7ea098bb9d0e03bafe9.png

5. Science of Deep Learning and Interesting Directions

第五部分,介绍的是深度学习理论研究方面的新进展和有趣的方向。

首先是一篇MIT的ICLR 2019 Best Paper《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks​arxiv.org

这篇paper告诉我们,面对着强大的神经网络,我们人类还是知之甚少。面对日益臃肿的模型尺寸和参数,MIT的研究人员,用某种方式对网络进行裁剪,发现残留的规模很小的网络仍然能够训练出很好的预测效果。MIT研究人员的研究方法如下,

  1. 随机初始化神经网络。这是常规的做法。
  2. 训练神经网络直至收敛。
  3. 裁剪部分网络。
  4. 重新按1的方法随机初始化剩余的网络神经元参数
  5. 重新训练裁剪过的网络。观察模型的收敛情况和预测准确率。
  6. 以上的过程可以迭代重复。

结果是新的子网络效果一致性地好。研究人员把这个现象命名为“彩票假说”。在庞大的网络结构当中,只有一小部分是产生最终效果的彩票,我们只要抽到它就行了,其它都是无谓的成本。问题是,彩票在哪里呢?

The L
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值