机器学习问题中过拟合出现的原因及解决方案

如果一味的追求模型的预测能力，所选的模型复杂度就会过高，这种现象称为过拟合。模型表现出来的就是训练模型时误差很小，但在测试的时候误差很大。

一、产生的原因：

1.样本数据问题

样本数据太少
样本抽样不符合业务场景
样本中的噪音数据影响

2.模型问题

模型复杂度高，参数太多
决策树模型没有剪纸
模型训练过程中权重迭代次数太多，拟合了数据中的噪声数据

二、解决方案

1.样本数据方面

增加样本数量
对样本数据进行降维
添加验证数据
抽样方法要符合业务场景
清洗噪声数据

2.模型方面

控制模型复杂度，优先选择复杂度简单的模型，或者融合模型
利用先验知识添加L1，L2正则项
进行交叉验证
不要过度训练，最优化求解，收敛之前停止迭代
如果是决策树模型进行减值
权重衰减