什么是过拟合?出现原因?怎么解决?

什么是过拟合?

为了得到一致假设而使假设变得过度复杂称为过拟合(overfitting),过拟合表现在训练好的模型在训练集上效果很好,但是在测试集上效果差。

出现原因?

  1. 训练集的数量级和模型的复杂度不匹配。训练集的数量要小于模型的复杂度;
  2. 训练集和测试集特征分布不一致;
  3. 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;
  4. 权值学习迭代次数足够多(overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。

怎么解决?

1.数据集扩增(Data Augmentation)

增加训练数据样本。训练集越多,过拟合的概率越小。

2.数据处理-清洗数据

丢弃一些不能帮助正确预测的特性。纠正错误的label,或者删除错误数据。

3.dropout方法

通过修改隐藏层神经元的个数来防止过拟合。

4.early stepping

是一种迭代次数截断的方法来防止过拟合。即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

5.正则化(Regularization) :L1和L2

保留所有特性,但是减少参数的大小。

L1和L2是正则化项,又叫做罚项,是为了限制模型的参数,防止模型过拟合而加载损失函数后面的一项。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值