过拟合和欠拟合

过拟合（overfitting)

过拟合指的是模型在训练集上表现的很好，但是在训练集外的数据集上（e.g.,交叉验证集和测试集）表现一般，也就是说模型对对新数据的预测表现一般，泛化（generalization）能力较差。

产生原因

a.训练数据过少或存在噪音,无法对整个数据的分布进行估计
b.特征维度过多,求解模型中没有那么多的特征值得重用
c.在对模型进行过度训练（overtraining）时，常常会导致模型的过拟合

解决办法

数据清洗、增加训练集、early stopping、数据集扩增（Data augmentation）、正则化（Regularization）、Dropout(神经网络)

欠拟合（underfitting）

过拟合指的是模型没有很好地捕捉到数据特征，导致拟合的函数在训练集上表现效果差，预测的准确率低。

产生原因

解决办法

1.添加其他特征项（e.g.,“组合”、“泛化”、“相关性”），模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。
2.添加多项式特征，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强
3.减少正则化参数，正则化的目的是用来防止过拟合的，当模型出现了欠拟合，则需要减少正则化参数。