Understanding Deep Learning required Rethinking Generalization 笔记

以下是他们论文中的一部分发现：

1.神经网络的有效容量是足够大的，甚至足够使用暴力记忆的方式记录整个数据集。

2.即便使用随机标签，进行优化仍然是很容易的。实际上，与使用真实标签进行训练相比，随机标签的训练时间仅仅增长了一个小的常数因子。

3.标签随机化仅仅是一种数据转换，学习问题的其他性质仍保持不变。

那个令人震惊的真相显现出来了。深度学习网络仅仅是大规模的关联记忆存储。深度学习网络即使在拟合随机数据时，仍能保持良好的泛化能力。这确实很奇怪，许多支撑神经网络有效性的依据都建立在这样一个猜想之上：“自然”数据往往存在于多维空间中一个非常窄的流形中。然而，随机数据并不具备这样的趋势。

《Understanding Deep Learning required Rethinking Generalization》这篇论文甚至进一步检验了我们行之有效且久经考验的泛化工具（即正则化），并发现：

显式正则化或许能提高泛化性能，但这既不必要也不足以控制泛化误差。

换句话说，我们所有的正则化工具可能并没有我们想象中那么有效！而且，更难以置信的是，SGD那不可思议的效果，实际上只是另一种碰巧有效的正则化方法！

参照线性模型，我们分析了SGD如何进行隐式的正则化。