sample等价是什么错误_ICLR2020 spotlight ，理解神经网络泛化性能为什么这么好

作者：刘锦龙 链接：https://zhuanlan.zhihu.com/p/9951621 编译：极市平台 传播：程序员大白

本文介绍我最近的一个工作，《Understanding Why Neural Networks Generalize Well Through GSNR of Parameters》，该文已入选ICLR2020 spotlight representation。

一、深度学习的泛化能力问题

深度学习在诸多领域取得了巨大的成功，但是深度学习背后的基础理论确相对有些滞后。其中一个重要的问题就是深度学习模型的泛化问题。在这个工作中，我们提出了一个全新的角度来理解这个问题。

按照经典的机器学习泛化理论，模型参数量越大，模型的拟合能力越强，但是泛化也会更差。但是深度学习中并没有观察到这种trade-off的现象，通常深度学习的模型有着巨大的参数量， 通常比训练数据要多得多，按照经典泛化理论，这样的模型应该泛化会很差。实践中，在真实数据上训练的深度学习模型通常具有很好泛化性能，增大模型的参数量，并不会使得泛化变差。这个现象无法被经典的机器学习泛化理论解释。