机器学习——过拟合、欠拟合

模型的过拟合

模型在训练数据集上效果不错，但是在测试数据集上效果很差。

过拟合产生的原因：

1、数据有噪声（即不相关的干扰因素）
2、训练数据不足
3、训练模型过度导致模型非常复杂

解决方法：1、通过限制模型的学习能力，比如加入正则化（L1（通过加入惩罚项，是惩罚项参数减小）、L2）；2、使用集成学习Bagging的思想进行模型的融合；3、增加数据集样本的数目，做一些数据增强的操作；4、在深度学习中，限制模型的学习能力，L1、L2正则化、dropout ；5、深度中，BN:批归一化操作

模型的欠拟合

模型在训练数据集上和测试数据集上的效果都很差

欠拟合产生的原因：数据特征太少，无法拟合所有的训练数据，2、训练模型太过简单

解决方法：1、换一个学习能力强的算法模型，比如：线性回归换成svm；2、多项式拓展之后在做具体的算法模型，比如：多项式线性回归；3、在深度学习中，加深网络，加宽网络（神经元增多，网络分支结构的增多）