过拟合（定义、出现的原因4种、解决方案7种）

定义

定义：给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。 ———《Machine Learning》Tom M.Mitchell

出现过拟合的原因

1.  训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度；

2.  训练集和测试集特征分布不一致；

3.  样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；

4.  权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

解决方案

（simpler model structure、 data augmentation、 regularization、 dropout、early stopping、ensemble、重新清洗数据）

1.  simpler model structure