Understanding Deep Learning required Rethinking Generalization 笔记

以下是他们论文中的一部分发现:

1.神经网络的有效容量是足够大的,甚至足够使用暴力记忆的方式记录整个数据集。

2.即便使用随机标签,进行优化仍然是很容易的。实际上,与使用真实标签进行训练相比,随机标签的训练时间仅仅增长了一个小的常数因子。

3.标签随机化仅仅是一种数据转换,学习问题的其他性质仍保持不变。

那个令人震惊的真相显现出来了。深度学习网络仅仅是大规模的关联记忆存储。深度学习网络即使在拟合随机数据时,仍能保持良好的泛化能力。这确实很奇怪,许多支撑神经网络有效性的依据都建立在这样一个猜想之上:“自然”数据往往存在于多维空间中一个非常窄的流形中。然而,随机数据并不具备这样的趋势。


《Understanding Deep Learning required Rethinking Generalization》这篇论文甚至进一步检验了我们行之有效且久经考验的泛化工具(即正则化),并发现:

显式正则化或许能提高泛化性能,但这既不必要也不足以控制泛化误差。

换句话说,我们所有的正则化工具可能并没有我们想象中那么有效!而且,更难以置信的是,SGD那不可思议的效果,实际上只是另一种碰巧有效的正则化方法!

参照线性模型,我们分析了SGD如何进行隐式的正则化。




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值