机器学习 过拟合问题

在机器学习的过程中，经常会出现过拟合导致算法性能下降的问题。那么，什么是过拟合，导致过拟合问题的原因与解决过拟合问题的方法都有那些呢？在此，做个简短总结。
1、什么是过拟合
欠拟合是指模型没有能够很好的表现数据的结构，而出现的拟合度不高的情况。
过拟合是指模型过分的拟合训练样本，但对测试样本预测准确率不高的情况，也就是说模型泛化能力很差。如下图所示：

2、过拟合的原因
（1）数据特征的角度
数据噪声导致的过拟合：噪声具有一定的随机性与欺骗性，如果把噪声作为有效信息的话，将会导致过拟合。
缺乏代表性样本导致的过拟合：训练数据集不能很好的反应整体分布可能会导致过拟合；训练数据集较小，但模型过度细化会导致过拟合。
(2)模型的角度
由于模型过度复杂，使得模型对训练数据拟合较好，但同时拟合了噪声或者与目标不相关的信息导致了过拟合。
3、过拟合、欠拟合的解决方法
过拟合的可能解决方法：
a、减少特征：删除与目标不相关特征，如一些特征选择方法
b、正则化：正则化会保证每个特征有一定的效用，不会使某一特征特别重要。
c、得到更多的训练样本
欠拟合可能的解决方法：
a、选择更复杂的模型
b、增加新特征，如特征构建