【集成学习】boosting-bagging-random forest

集成学习中三个著名的算法boosting、bagging和random forest.

bagging算法使用了重采样的方法：即样本有放回的采样。

boosting：以AdaBoost为例。学习器的训练过程为串行。首先将初始训练集中的每一个样本（假设有m个）的权重设置为1/m。然后对每一个训练集进行T轮训练，在一轮训练中将错分的样本的权重提高。在一个训练集完成之后，新的训练集也有了相应的权重。

bagging:bagging是基学习器对每一个训练集进行训练，对分类问题采用学习器投票法，对回归问题采用学习器的简单平均法。

random forest:random forest是bagging算法的一个延展算法。基学习器采用决策树，在对每一个训练集训练时候采用随机的特征子集进行训练，分类和决策方法与bagging类似。