如何解决过拟合(overfitting)问题?

什么是过拟合?

为了得到一致假设而使假设变得过度严格称为过拟合。过拟合的模型一般对训练数据表现很好,而对测试数据表现很差。

如何解决过拟合问题?

  1. early stopping:可以设定一个迭代截断的阈值,到了这个阈值迭代终止;也可以设定两次迭代之间的accuracy提高很小的时候,停止迭代。
  2. 数据集扩增:从数据源采集更多数据;复制原有数据并增加随机噪声;重采样;根据当前数据集估计数据分布参数,使用该分布产生更多数据。
  3. L1 L2正则化:使整体cost取较大值,避免某些特征权重过大。L1: 0附近参数趋于0,降低模型复杂度,防止过拟合;0处不可求导,w=0时,用未经正则化的更新方程来更新;L2: 使参数w变小加剧,更小的w意味着更低的模型复杂度。
  4. Dropout:随机删除一些隐藏层神经元,使这些单元不更新。

原文见该地址

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值