集合策略 与 学习器的多样性

西瓜书 8.4/ 8.5
结合策略
假定 集成包涵T个基学习器 ： h1 …hT
hi 在 x 上的输出 为 hi(x)
常见的结合策略：

简单平均法 ：

加权平均法：

wi 是个体学习器的hi 的权重，且满足：

说明 ：
加权平均法 的权重一般是从 训练数据中学习而得，现实任务中的训练样本通常不充分或存在噪声，这将使得学习出的权重不完全可靠，尤其是对规模比较大的集成来说，要学习的权重较多，容易过拟合。
加权平均法未必一定优于简单平均法，在个体学习器性能相差较大时使用加权平均法，在个体学习器性能相近时使用简单平均法。

投票法

      绝对多数投票法
                     即若某标记 得票数过半，则预测为该标记，否则拒绝预测。
      相对多数投票法
                  即预测为得票最多的标记，若同时有多个标记获得最高票，则从中随机选取一个。