集成学习之boosting系列三

集成学习之boosting系列算法

author：周 舟
email: iamzozo@163.com

3）加权投票：

权重的概念和加权平均的类似，通常满足 。相对多数可以看作是权重相等的加权投票。

• 学习法
  换一个思路，不通过人工的方式来指定到底如何结合各个个体学习器，而是将个体学习器之间的结合方式也通过数据来学习得到。即通过另一个学习器来进行结合，此时个体学习器称为初级学习器，用于结合的学习器称为次级学习器或者元学习器（meta-learner）。学习法的代表有Stacking。下面简单描述一下该算法：

Stacking算法：
Input：训练集 ；
初级学习算法： ；
次级学习算法： ；
procedure：

for = do
    ;     //通过原始数据集学习出初级学习器
end for
;
for do
    for do
        ;    //根据初级学习器产生输出
    end for
;    //整合初级学习器的输出产生新的数据集作为次级学习器的输入
end for
;    //利用新数据集学习出次级学习器
output: