1.过拟合
容易产生过拟合的原因:
(1)在对模型进行训练时,有可能遇到训练数据不够,即训练数据无法对整个数据的分布进行估计的时候;
(2)或者在对模型进行过度训练(overtraining)时,常常会导致模型的过拟合(overfitting)。
防止过拟合的方法:
(1)减少训练的次数,即early stop;
( 2 )增加训练的样本数据;
(3)在目标函数或代价函数后面加上一个正则项;
(4)Dropout。
详情参见:http://blog.csdn.net/heyongluoyao8/article/details/49429629
2. 欠拟合(模型没有很好地捕捉到数据特征,不能够很好地拟合数据)
原因:
训练次数不够或者特征项不够
解决办法
(1)添加其他的特征项(添加办法,“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段);
(2)减少训练次数;
(3 )减少正则化项;
(4)添加多项特征式,比如二次项和三次项都使得模型的泛化能力更强。