机器学习中过拟合原因和防止过拟合的方法

过拟合原因：

由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合，如

1、比如数据不够，

2、训练太多拟合了数据中的噪声或没有代表性的特征也就是模型太复杂

 

所以防止过拟合的方法：

1.获取更多的数据

    1).从数据源获得更多的真实数据

    2).数据增强

    3).根据当前数据集生成数据

2.使用合适的模型

    1).网络结构Architecture,网络层数，神经元个数

    2).训练时间Early stopping

    3).限制权值Weight-decay，正则化

    4).增加噪声Noise，在训练数据、权值或网络响应中加噪声（后两者用的较少）

3.结合多种模型

    1).Bagging，多个弱分类器各司其职，如随机森林

    2).Boosting，多个弱分类器加权平均

    3).Dropout，训练时随机失效某些节点，相当于多个模型

4.贝叶斯方法