机器学习基础知识整理

1.过拟合

  容易产生过拟合的原因： 

  （1）在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候；

  （2）或者在对模型进行过度训练（overtraining）时，常常会导致模型的过拟合（overfitting）。

   防止过拟合的方法：

   （1）减少训练的次数，即early stop;

    ( 2 )增加训练的样本数据；

   （3）在目标函数或代价函数后面加上一个正则项;

   （4）Dropout。

     详情参见：http://blog.csdn.net/heyongluoyao8/article/details/49429629

 2. 欠拟合（模型没有很好地捕捉到数据特征，不能够很好地拟合数据）

    原因：

    训练次数不够或者特征项不够

   解决办法

   （1）添加其他的特征项（添加办法，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段）；

   （2）减少训练次数；

    （3 )减少正则化项；

    （4）添加多项特征式，比如二次项和三次项都使得模型的泛化能力更强。