了解《泛化误差》必看的6篇论文【附打包下载地址】

论文推荐

“ 本期推荐的文章主要关注于基础研究泛化误差领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI71"获取本主题精选论文

3篇领域经典

推荐理由：ICLR 2017的最佳会议论文。作者通过一些很有意思的实验（比如random label实验）来试图反驳之前的机器学习理论，认为之前的一些泛化上界并不能解释深度学习的成功。很有趣的一个文章，也被后来大部分做泛化的工作引用了。

—— 骆轩源

推荐理由：比较经典的关于SGD的泛化误差的论文。使用的是一个经典理论框架叫做algorithm stability。其结论为训练越快，泛化越好。

—— 骆轩源

推荐理由：本文提出神经正切核（NTK）。NTK算是一个比较大的理论突破，其建立了over-parameterized neural network与Kernel Method的关系。而kernel相对于神经网络的复杂函数来说，性质更清晰一些，说不定更容易分析一些。后续有很多工作基于NTK，比如可以证明梯度下降能找到深度神经网路的全局最优解等等。

—— 骆轩源

3篇领域前沿

推荐理由：本文精细地分析了两层 (超级宽) 神经网络的优化和泛化。结论非常有意义。

—— 骆轩源