[机器学习]集成学习 - Boosting家族

最近一个做报告用的slide，比较系统的整理了一下boosting家族的数学推导和优化技巧。其中也参考了很多论文和博客，具体内容在文末参考文献。

委员会方法-集成学习

Boosting

---

目录

1. Ensemble Learning
2. AdaBoost
3. GBDT & XGBoost
4. LightGBM

---

Ensemble Learning

在有监督的机器学习中，衡量模型的“好坏”可以从两个方面评估，即模型预测的偏差–Bias和模型预测的方差–Variance

1.Bias是用训练数据集训练出的模型的输出与真实模型的输出值之间的差异

2.Variance是不同的训练数据集训练出的模型输出值之间的差异

---

Ensemble Learning

设真实的预测模型为$f$，则样本满足$Y=f(X)+ϵ$，其中$ϵ$为随机误差


设我们训练得到的模型为$\hat{f}$，则训练得到的模型$\hat{f}$的偏差为：
$Bia{s}^2(\hat{f})=(\hat{f}(X)-Y{)}^2$
$X$为训练集的样本


模型$\hat{f}$的方差为：
$Variance(\hat{f})=E[(Y-\hat{f}(X){)}^2]$
求期望是对整个样本空间

---

Ensemble Learning

Bagging：对n个独立不相关的模型的预测结果取平均，方差是原来单个模型的$\frac{1}{n}$，从而在单个模型的Bias都较低（单个模型复杂度较高）的前提下，降低模型的Variance

Boosting：单个模型的Bias都不算很低（单个模型复杂度较低）的前提下，通过增添新的简单的模型有权重的修正整个模型的Bias

---

AdaBoost—Adaptive Boosting

          AdaBoost全称为"Adaptive Boosting"(自适应增强)，由Yoav Freund和Robert Schapire在1995年提出。它是最早提出的Boosting算法，核心即使将多个分类器组合成一个强分类器。"自适应"的核心即使，在前几个弱分类器分错的样本的在下一个弱分类器的训练中会加强，一直迭代到指定数量的弱分类器或者指定的错误率。

---

AdaBoost数学推导

假设：
· 第$m+1$步得到的完整分类器为$f_{m+1}(x)=f_m(x)+a_{m+1}{C}_{m+1}(x;{\theta }_{m+1})$
其中$C_{m+1}$为第$m+1$个弱分类器，$\theta$为第$m+1$个弱分类器的参数，$a_{m+1}$为第$m+1$个分类器的输出权重
· 目标损失函数$L(a_{m+1},{\theta }_{m+1})=\sum _{i=1}^n{e}^{-y_i{f}_{m+1}(x_i)}$，其中 y i ∈ { − 1 , + 1 } y_i\in \{-1, +1\} yi​∈{ −1,+1}

求解过程：
· 计算$m+1$步的权重$w_{i,m+1}=e^{-y_i{f}_m(x_i)}$，则$L(a_{m+1},{\theta }_{m+1})=\sum _{i=1}^n{w}_{i,m+1}\times e^{-y_i\times a_{m+1}{C}_{m+1}(x_i;{\theta }_{m+1})}$
· 计算$m+1$个弱分类器的参数 θ ^ m + 1 = arg ⁡ min ⁡ θ m + 1 ∑ i = 1 n w i , m + 1 × I { y i ≠ C m + 1 ( x i , θ m + 1 ) } \hat{\theta}_{m+1}=\mathop{\arg\min}\limits_{\theta_{m+1}}\sum\limits_{i=1}^n w_{i,m+1}\times I\{y_i \neq C_{m+1}(x_i, \theta_{m+1})\} θ^m+1​=θm+1​argmin​i=1∑n​wi,m+1​×I{ yi​​=Cm+1​(xi​,θm+1​)}
  这个目标损失函数即为第$m+1$个弱分类器的目标损失函数

· 计算加权误判率 E r r m + 1 = ∑ i = 1 n w i , m + 1 ∑ i = 1 n w i , m + 1 × I { y i ≠ C m + 1 ( x i ) } Err_{m+1} = \sum\limits_{i=1}^n\frac{w_{i, m+1}}{\sum\limits_{i=1}^n w_{i, m+1}} \times I\{y_i \neq C_{m+1}(x_i)\} Errm+1​=i=1∑n​i=1∑n​wi,m+1​wi,m+1​​×I{ yi​​=Cm+1​(xi​)}
· 计算$m+1$个弱分类器最终输出的权重 ${\hat{a}}_{m+1}=\frac{1}{2}log(\frac{1-Er{r}_{m+1}}{Er{r}_{m+1}})$

· 更新$f_{m+1}$

---

AdaBoost数学推导

${\hat{a}}_{m+1}$的计算原理：
当第$m+1$个弱分类器已经训练完成后，$L(a_{m+1},{\theta }_{m+1})=\sum _{i=1}^n{w}_{i,m+1}\times e^{-y_i\times a_{m+1}}$