对Understanding Deep Learning Requires Rethinking Generalization的理解

对Understanding Deep Learning Requires Rethinking Generalization的理解

1.任意具有2n+d个参数的网络具有就能拟合大小为n的训练集，而且当训练集标签随机化之后仍可拟合，证明网络具有暴力记忆所有训练集标签的能力，但是在通常情况下网络并不会选择进行暴力记忆，产生过拟合，说明网络趋向于参数更少的形式，即训练的过程中有对模型参数进行正则化限制参数数量。
2.文章开始寻找是哪一种正则化对模型的泛化能力起了如此之大的作用，首先尝试了几种显式的正则化如l2范数，dropout，
data augmentation等，然后通过实验证明这三种显示正则化对网络的泛化能力有提高但不是主要原因，即这几种正则化不是文章要寻找的能够极大提升模型泛化能力的正则化。
3.作者尝试了隐式正则化early stoping和batch normalization,发现亦不是答案
4.最后作者提出一个猜想SGD在训练过程中就有正则化的作用，并不太严谨的解释了SGD发挥作用的机理。

SGD对参数的更新可以表示为：
，其中η是步长，e是预测误差。所以如果偏置项为0的话，最后的解肯定可以以这个形式表示：
。如果我们再完全拟合了标签
，那么可以得到
，这是一个类似于求最小二乘解的方程，可以对α的范数做很大的限制。
新手上路，有任何理解不到位的地方欢迎指正讨论
参考文献
1
2