深度学习模型在大量参数下仍展现强大泛化能力。研究指出，神经网络的泛化可能并非源于记忆训练数据，而是学习简单且适用的假设。尽管正则化能改善泛化误差，但并非其根本原因。网络可能通过识别数据模式来实现泛化，而非简单记忆。
深度神经网络往往带有大量的参数，但依然表现出很强的泛化能力（指训练好的模型在未见过的数据上的表现）。
深度神经网络为何会拥有如此强的泛化能力？最近，两篇论文引起了广泛思考。
神经网络通过记忆学习
《Understanding deep learning requires rethinking generalization》一文通过实验得出初步结论：
神经网络极易记忆训练数据，其良好的泛化能力很可能与此记忆有关。
传统观点
传统方法认为模型对训练数据的记忆是导致泛化能力差的重要原因，因此往往通过各种各样的正则化手段使得模型“简约”，从而打破这种记忆。
论文观点
深度神经网络极易记忆数据，常用的正则化手段对于模型泛化能力的提高不是必要的而且也不足以控制泛化误差。深度神经网络发挥作用时可能很好的利用了其记忆能力。
论文实验
论文通过大量试验挑战了传统机器学习的观点。
实验一：如下图
最低0.47元/天 解锁文章
扫一扫
5214
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
