集成学习(Ensemble Learning) 学习小结

集成学习是通过训练多个分类器，然后把这些分类器组合起来，以达到更好的预测性能。

Boosting

Boosting方法是一种用来提高弱分类算法准确度的方法,这种方法通过构造一个预测函数系列,然后以一定的方式将他们组合成一个预测函数。
Adaboost
Adaboost中不同的子模型必须是串行训练获得的，每个新的子模型都是根据已训练出的模型性能来进行训练的
基本思想:

1.多轮训练，多个分类器
2.每轮训练增加错误分类样本的权值，降低正确分类样本的权值3.
3.降低错误率高的分类器的权值，增加正确率高的分类器的权值

Boosting主要关注降低偏差,因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成.

Bagging

Bagging采用的是随机有放回的选择训练数据然后构造分类器，最后组合。
随机森林
随机森林在Bagging的基础上做了修改：
1.从样本中用BootStrap 采样了n个样本。
2.从所有属性中随机选择K个属性，选择最佳分割属性作为结点建立CART决策树。
3.重复上边2步m次，即建立m棵CART决策树。
4.这m棵CART树形成随机森林，通过投票表决结果属于哪一类。