机器学习过拟合产生的原因及解决方案

过拟合产生的原因

1.训练集的数据量级和模型的复杂度不匹配，测试集数据量远小于模型复杂度；
2. 训练集和测试集特征分布不一致；
3. 样本里的噪音数据干扰过大，忽略了真实的输入输出；
4.Over training:拟合了噪声和样例中没有代表性的特征。

解决方案

1.减小模型复杂度，比如神经网络中减少隐藏层数；
2. 数据增强；
3. 正则化；
4.dropout：以一定的概率丢弃掉一部分神经元；
5.早停：一般监视指标是val_loss；
6.集成学习。