集成学习

一、集成学习

对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，形成一个强学习器。

二、Boosting模型

下一个子学习器，在当前学习器的基础上生成。最后，通过结合策略，将子学习器间的输出结合起来。
训练样本有权值，每次得到一个新的分类器后，会更新训练集中样本的权值。
参考刘建平–集成学习https://www.cnblogs.com/pinard/p/6131423.html

2.1 AdaBoost

摘自李航《统计学习方法》

2.1.1 AdaBoost算法

• 误差率
  $e_m=P(G_m(x_i)\ne y_i)=\Sigma w_{m,i}I(G_m(x_i)\ne y_i))$
• $G_m(x)$系数
  ${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$
• 样本更新后的权值
  $w_{m,i}=\frac{w_{m,i}}{Zmi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$
• 分类器
  $f(x)={\Sigma }_m{\alpha }_m{f}_m(x)$
  $G(x)=sign(f(x))$

2.1.2 AdaBoost算法误差分析

2.2 提升树算法

提升方法实际采用加法模型（基函数的线性组合）和前向算法。

2.3 梯度提升树（Gradient Boosting Decision Tree）算法

上面的提升树是对于误差函数取MSE时的构建方法，当损失函数是一般函数时，每次拟合的不是残差，而是拟残差。（提升树中的残差其实也是损失函数对函数f(x)梯度的负方向）

2.4 XGBoost

三、Bagging模型

从m个样本训练集中有放回地随机采样m次得到采样集1，训练学习器1，重复n次采样和训练，得到n个弱学习器，通过结合策略结合n个子学习器间的输出。

四、结合策略

1. 投票法
2. 加权
3. stacking