关于深度神经网络（DNN）的泛化能力以及标签噪声学习

网络泛化以及标签噪声学习相关文章学习记录（理论型）：

1-UNDERSTANDING DEEP LEARNING REQUIRES RETHINKING GENERALIZATION（ICLR2017最佳论文之一）
论文链接：https://arxiv.org/pdf/1611.03530.pdf
该文章通过实验验证了，利用随机梯度训练的图像分类卷积网络可以很容易适应训练数据中的标签噪声。此外，还分析阐述了深度网络的泛化能力性质上不受显式正则化（explicit regularization）的影响，即使我们采用完全随机的非结构化噪声代替真实图像网络依然能够适应。

并得出以下结论：

Deep neural networks easily fit random labels.
深度神经网络很容易拟合随机标签。

Explicit regularization may improve generalization performance, but is neither necessary nor by itself sufficient for controlling generalization error.
显式正则化可以提高泛化性能，但对于控制泛化错误而言既不是必需的，也不是单独作用就足够的。

作者设计的实验包括：

1. True labels: the original dataset without modification.（真实标签）
2. • Partially corrupted labels: independently with probability p, the label of each image is corrupted as a uniform random class.（部分损坏的标签）
3. • Random labels: all the labels are replaced with random ones.（随机标签）
4. • Shuffled pixels: a random permutation of the pixels is chosen and then the same permutation is applied to all the images in both training and test set.（乱序像素）
5. • Random pixels: a different random permutation is applied to each image independently.（随机像素）
6. Gaussian：A Gaussian distribution (with matching mean and variance to the original image dataset) is used to generate random pixels for each image.（随机高斯分布的像素）

2-A Closer Look at Memorization in Deep Networks（ICML2017）
论文链接：https://arxiv.org/pdf/1706.05394.pdf
在本篇文章之前，已经有相关学者通过实验验证了深度神经网络能够学习到训练数据中的噪声标签的能力。本篇文章的作者研究了记忆对于深度神经网络的容量，泛化能力以及对抗鲁棒性的关联，并通过实验分析验证了

1-对于存在噪声标签的训练数据，深度神经网络倾向于优先学习简单模式的现象，而后记忆噪声数据信息。

2-DNN在优化真实数据和噪声数据时存在质的差异，换句话说就是DNN不仅仅只学习到了真实的数据；

3-显式正则化（例如，dropout），可以降低噪声数据集上的DNN训练性能，而不会影响对真实数据的泛化。

此外作者还通过分析表明，当使用基于梯度的方法训练时，独立于数据集的有效容量的概念不太可能解释深度网络的泛化性能，因为训练数据本身在确定记忆程度方面起着重要作用。