集成学习——总结

1，继承学习概述
对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器。

2，集成学习之个体学习
种类：
同质的：强依赖性：（boosting）弱依赖性：（bagging，随机森林）
异质的：多个不同的学习器
3，集成学习之boosting（强依赖性）

Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。然后基本调整权重后的训练集来训练弱学习器2.，如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。
4，集成学习之bagging

bagging的个体弱学习器的训练集是通过随机采样得到的。通过T次的随机采样，我们就可以得到T个采样集，对于这T个采样集，我们可以分别独立的训练出T个弱学习器，再对这T个弱学习器通过集合策略来得到最终的强学习器。（自助采样法）不放回采样

5，集成学习之结合策略
5.1、对于数值类的回归预测问题：平均法：
a, $H(x) = \frac{1}{T}\sum_{1}^{T}h_i(x)$
b,带权重:
$obj:H(x) = \sum_{i = 1}^{T}w_ih_i(x)$
$restriction:w_i >= 0, \sum_{i-1}^{T}w_i = 1$

5.2、对于分类问题的预测：投票法
a、相对多数投票法：即少数服从多数
b、绝对多数投票法：相对多数投票法 + 票数要求过半
c、加权投票法：每个弱学习器的分类票数都要乘以一个权重

5.3、stacking
将训练集弱学习器的学习结果作为输入，讲训练集的输出作为输出，重新训练一个学习期来得到最终结果