高级算法梳理 (1) —— 集成学习 (Ensemble Learning)

1.个体与集成

       集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务。
       集成学习的一般结构：先产生一组“个体学习器”（individual learner），再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生。
集成学习通过将多个学习器结合，常可以获得比单一学习器显著优越的泛化性能。

2. Boosting

       Boosting是一族可以将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

3. Bagging与随机森林

3.1 Bagging

       Bagging是并行式集成学习方法最著名的代表，它直接基于自主采样法，给定包含 $m$ 个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，这样，经过 $m$ 次随机采样操作，我们得到含 $m$ 个样本的采样集，初始训练集中有的样本在采样集里多次出现，有的则从未出现。
       照这样，我们可采样出 $T$ 个含 $m$ 个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。

3.2 随机森林

       随机森林（Random Forest）是Bagging的一个扩展变体。RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含 $k$ 个属性的子集，再从这个子集中选择一个最优属性用于划分，这里的参数 $k$ 控制了随机性引入的程度。

3.3 结合策略

3.3.1 平均法（Averaging）

• 简单平均法（simple averaging）
  $$H(\mathbf{x})=\frac{1}{T}\sum _{i=1}^T{h}_i(\mathbf{x})$$
• 加权平均法（weighted averaging）
  $$H(\mathbf{x})=\frac{1}{T}\sum _{i=1}^T{w}_i{h}_i(\mathbf{x})$$
  其中 $w_i$是个体学习器 $h_i$的权重，通常要求 $w_i\ge 0,{\sum }_{i=1}^T{w}_i=1$.

3.3.2 投票法（Voting）

• 绝对多数投票法（majority voting）
  $$H(\mathbf{x})=\{\begin{array}{rl}{c}_j,& \text{if }\sum _{i=1}^T{h}_i^j(\mathbf{x})>0.5\sum _{k=1}^N\sum _{i=1}^T{h}_i^k(\mathbf{x})\\ \text{reject}& \text{otherwise.}\end{array}$$
  即若某标记得票超过半数，则预测为该标记；否则拒绝预测。
• 相对多数投票法（plurality voting）
  $$H(\mathbf{x})=c_{\arg \underset{j}{\max }}\sum _{i=1}^T{h}_i^j(\mathbf{x})$$
  即预测为得票最多的标记，若同时有多个标记获得最高票，则从中随机选取一个。
• 加权投票法（weighted voting）
  $$H(\mathbf{x})=c_{\arg \underset{j}{\max }}\sum _{i=1}^T{w}_i{h}_i^j(\mathbf{x})$$
  与加权平均法类似，$w_i$是 $h_i$的权重，通常 $w_i\ge 0,{\sum }_{i=1}^T{w}_i=1$.

3.3.3 学习法

       当训练数据很多时，一种更为强大的结合策略是使用“学习法”，即通过另一个学习器来进行结合。