集成学习方法的简单理解

集成学习方法主要包括两大类：

1、boosting集成学习方法

      boosting是一种串行式集成学习方法，集成中的个体学习器之间是相互依赖的，首先在初始训练集上训练得到一个模型，然后基于该模型改变下一次训练样本的分布，使那些在上一次的模型中分类错误的训练样本在下一次模型学习的过程中得到重视，从而得到新的模型，多次重复这样的训练过程，得到t个训练模型，最终的分类结果由各个训练模型的加权求和而决定。

2、bagging集成学习方法

       bagging是一种并行式集成学习方法，集成中的个体学习器之间是相互独立的，它是基于自助采样法进行的放回采样，每个训练集包含m个随机自助采样得到的样本，一共需要t个这样的训练集，同时进行训练得到t个学习模型。Bagging在进行分类任务时通常使用简单投票法，对回归任务使用简单平均法。

          随机森林是以决策树为基学习器的bagging集成方法，它的特点是对每个节点随机的选取k个属性作为属性子集（假设训练样本中一共有d个属性，故d>=k)，从选取的k个自己中选取最佳划分属性 。