不容易产生过拟合的算法

1.SVM

        首先，SVM有个L2正则项，在目标函数中加入这个对模型的规模进行了限制。L2正则为什么能保证控制过拟合，这里面就有个哲学思想，叫做奥卡姆剃刀法则，简单来说这个想法就是“能简单说的话，不要复杂的说”。L2正则项就能代表模型的复杂度，根据奥卡姆，如果同样效果那么越简单的模型泛化效果越好。所以最优化过程中尽量追求小的L2的值就会提高泛化能力，也就抑制了过拟合的问题。其次，会通过松弛变量的方法处理掉噪音。

2.adaboost

        一是弱分类器非常简单，即使很多融合也不易过拟合，但如果弱分类器太强，则易过拟合；二是分类错误率上界随着训练增加而稳定下降

3.随机森林

        两个随机过程（训练集和特征）的引入；以及根据大数定律，随着分类树数目的增多，泛华误差值会收敛，所以使得随机森林不易过拟合。