思考深度学习的泛化能力

深度学习模型在大量参数下仍展现强大泛化能力。研究指出,神经网络的泛化可能并非源于记忆训练数据,而是学习简单且适用的假设。尽管正则化能改善泛化误差,但并非其根本原因。网络可能通过识别数据模式来实现泛化,而非简单记忆。
摘要由CSDN通过智能技术生成

深度神经网络往往带有大量的参数,但依然表现出很强的泛化能力(指训练好的模型在未见过的数据上的表现)。

深度神经网络为何会拥有如此强的泛化能力?最近,两篇论文引起了广泛思考。


神经网络通过记忆学习

《Understanding deep learning requires rethinking generalization》一文通过实验得出初步结论

神经网络极易记忆训练数据,其良好的泛化能力很可能与此记忆有关。

传统观点

传统方法认为模型对训练数据的记忆是导致泛化能力差的重要原因,因此往往通过各种各样的正则化手段使得模型“简约”,从而打破这种记忆。

论文观点

深度神经网络极易记忆数据,常用的正则化手段对于模型泛化能力的提高不是必要的而且也不足以控制泛化误差。深度神经网络发挥作用时可能很好的利用了其记忆能力。

论文实验

论文通过大量试验挑战了传统机器学习的观点。

实验一:如下图

  • 10
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值