【深度学习笔记3.2 正则化】Dropout

关于dropout的理解与总结:

  • dropout是什么?参考文献[1]
  • dropout会让train变差,让test变好。一般的如果在train-set上表现好,在test-set上表现差,用dropout才有效果。使用dropout是为了避免过拟合。(来自网友)
  • 下图来自文献[3]
    enter image description here
      上图中的思想就是说:Dropout是一种正则化技术,是防止过拟合最有效的方法,然而在以下几种情况下使用dropout会损害性能。
    1). 放在最后一层之前(即softmax之前)。这通常是一个不适合使用dropout的地方,因为网络没有能力在分类之前“纠正”drop引起的错误;
    2). 当网络较小时,通常不需要正则化。如果模型capacity已经很低时,那么增加正则化会进一步降低模型capacity以至于损害模型性能;
    3). 使用dropout的网络收敛速度比较慢,但它最终收敛时的误差会比较低,所以如果你没有那么多时间训练网络直至收敛的话,你可能不应该使用dropout.
  • 当数据量不大的时候,通常不考虑使用dropout.
  • 目前dropout已经很少使用,已经被一种称为Batch Normalization的技术有取代,当然这并不是说dropout就不是一个有效的工具[3]。

参考文献

[1] 理解dropout
[2] 深度学习中Dropout原理解析
[3] Dropout makes performance worse

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值