集成学习-结合策略

为什么要集成学习器

从统计方面，降低因单一学习器误选导致的泛化性能不佳的风险
从计算方面，降低陷入局部极小点的风险
从表示方面，扩大假设空间，可以学得更好的近似

几种常见的结合策略

平均法-数值型输出常用结合策略
1.简单平均法
2.加权平均法，要求权重非负且和为1
一般个体学习器性能相差较大时使用加权平均，性能相近时使用简单平均法（可用测试集准确率判断性能）
投票法-分类
1.绝对多数投票法：若某标记得票过半，则预测为该标记，否则拒绝预测（在可靠性要求高的学习任务中很有效）
2.相对多数投票法：预测为得票最多的标记，若同时有多个标记获得最高票，则随机选取一个
3.加权投票法：要求权重非负且和为1
4.使用类标记的投票称“硬投票”，使用类概率的投票称“软投票”
基学习器类型不同，其类概率值不能直接进行比较，通常将类概率输出转化为类标记输出（例：将类概率输出最大设为1，其他设为0）然后再投票

学习法-通过另一个学习器结合

Stacking是典型代表，个体学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器。
基本思想：先从初始数据集训练出初级学习器，然后将初级学习器的输出特征（一般采用留一法或交叉验证法，使用训练初级学习器未使用到的样本来产生次级学习器样本）与对应的初始训练集的标记组合为新的数据集用于训练次级学习器（初始Xi 输出Zi 标记Yi ,初级训练器（Xi，Yi）,次级训练器（Zi，Yi））