机器学习中解决过拟合的方法

产生过拟合原因？

1、参数太多，模型复杂度高
2、样本中噪音数据较大，模型学习到了噪音中的特征
3、对于决策树模型。对决策树的生长没有合理的限制和修建
4、 对于神经网络模型。权值学习迭代次数足够多（overtraining），拟合了训练数据中的噪声和训练样例中没有代表性的特征。

解决方案：
1、降低模型复杂度
2、增大训练集，训练集增加之后就能学习到更多具有代表性的特征
3、增加正则项，减少参数，进一步降低模型复杂度
4、对于神经网络，采用dropout
5、对于决策树，采用earlystopping，模型对训练数据集迭代收敛之前停止，防止过拟合
6、采用ensemble。集成学习可以有效的减轻过拟合。bagging通过平均多个模型的结果，来降低模型的方差。boosting不仅可以减小偏差，还可以减小方差。