【集成学习】：RF、AdaBoost、GBDT

集成学习

本文是笔者西瓜书第八章的学习笔记，如有谬误，请随时指出。

Bagging

在集成学习中，如果我们希望得到泛化性能较强的集成，那么应该尽可能的保证基学习器之间“好而不同”。因此可以使用自助采样法采样，使得每个基学习器有差异（满足“不同”），同时又能保证每个基学习器不会太差（满足“好”）。

自助采样法具体来说就是，给定包含$m$个样本的数据集，我们从中进行$m$次有放回的采样，得到一个含有$m$个样本的数据集。

Bagging具体来说就是，采样出$T$个包含$m$个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器结合起来。

结合策略

• 平均法：主要用于数值型输出；$h_i(x)\in \mathbb{R}$，代表第$i$个基学习器的输出
  • 简单平均法：基学习器性能差异较小时使用
    $$H(x)=\frac{1}{T}\sum _{i=1}^T{h}_i(x)$$
    其中$H(x)$代表最终的输出。
  • 加权平均法：基学习器性能差异较大时使用
    $$H(x)=\sum _{i=1}^T{w}_i{h}_i(x),\text{s.t.}{w}_i\ge 0,\sum _{i=1}^T{w}_i=1$$
    需要注意权重$w_i$一般是从训练数据中学习得到的，但是现实任务中训练样本不充分或存在噪声，权重很有可能不可靠；当基学习器较多的时候，很容易过拟合。
• 投票法：主要用于类别型输出；$h_i(x)=(h_i^1(x),\dots ,h_i^N(x))$，其中$h_i^j(x)$代表第$i$个基学习器再类别$c_j$上的输出，这里的输出既可以是类标记（即 h i j ( x ) ∈ { 0 , 1 } h_i^j(x)\in\{0, 1\} hij​(x)∈{0,1}，也称“硬投票”），也可以是类概率（即$h_i^j\in [0,1]$，相当于$P(c_j|x)$，也称“软投票”）。
  • 绝对多数投票法：
    $$H(x)=\{\begin{array}{rlr}& c_j,& \text{if}\sum _{i=1}^T{h}_i^j(x)>0.5\sum _{k=1}^N\sum _{i=1}^T{h}_i^k(x)\\ & \text{reject},& \text{otherwise}\end{array}$$
    即若某标记得票超过半数，则预测为该标记；否则拒绝预测
  • 相对多数投票法：
    $$H(x)=c_{\underset{j}{\mathrm{argmax}}{\sum }_{i=1}^T{h}_i^j(x)}$$
    即预测为得票最多的标记，若多个标记获得最高票，则从中随机选取
  • 加权投票法：
    $$H(x)=c_{\underset{j}{\mathrm{argmax}}{\sum }_{i=1}^T{w}_i{h}_i^j(x)},\text{s.t.}{w}_i\ge 0,\sum _{i=1}^T{w}_i=1$$
• 学习法：Stacking，利用另一个学习器来结合。我们把基学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器（meta-learner）。即，把初级学习器的输出当作次级学习器的输入，把初始样本的标记当作样例标记。（加权平均法类似于次级学习器为线性模型的学习法）
  具体来说，次级训练集是初级学习器产生的，如果直接用初级学习器的训练集来训练次级学习器，那么过拟合的风险会比较大。一般采用$k$折交叉验证的方法，把$k-1$个子集当作初级学习器的训练集，利用剩余的一个子集来产生次级训练集，重复$k$次即可得到含有$m$个样本的次级训练集。
  当初级学习器的输出为类概率时，次级学习器选择多响应线性回归（Multi-response Linear Regression，简称MLR）效果较好。MLR简而言之就是，对每个类分别做线性回归，将输出最大的类当作最终的输出。

随机森林

随机森林在以决策树为基学习器构建Bagging集成的基础上，进一步引入了随机属性选择。具体来说，传统决策树在选择划分属性时是在当前结点的集合属性中选择一个最优属性；而在随机森林中，是在当前结点的属性集合中随机$k$个属性，在从这$k$个属性中，选择一个用于划分。

在sklearn中的参数如下，注意这里没有给结合方式的参数选择，对于分类问题采用简单投票法，对于回归问题采用简单平均法

sklearn.ensemble.RandomForestClassifier(
        n_estimators=10, criterion='gini',
        max_depth=None,min_samples_split=2, 
        min_samples_leaf=1, min_weight_fraction_leaf=0.0,
        max_features='auto', max_leaf_nodes=None,
        min_impurity_split=1e-07,bootstrap=True,
        oob_score=False, n_jobs=1, 
        random_state=None, verbose=0,
        warm_start=False, class_weight=None)

解释一部分重要参数：

• max_features：代表从当前属性集合中随机选取属性的个数。"auto"代表选择$\sqrt{N}$个属性；"log2"代表选择${\log }_{2}N$个特征；如果是整数，代表选择特征个数的绝对值；如果是浮点数，代表选择特征个数的百分比。
• n_estimators：代表基学习器的个数。
• criterion：代表决策树属性划分的指标。分别可以选择'gini'和'entropy'，其中前者是默认值。
• max_depth：代表决策树最大深度。可以不输入，代表不限制决策树的深度。
• min_impurity_split：代表信息增益小于设定阈值的分枝不会发生。
• min_samples_split：代表当结点中样本个数小于这个值，将不会再划分子树。
• min_samples_leaf：代表当结点中样本个数小于这个值，那么这个结点会被剪枝。

Boosting

Boosting的工作机制一般为：从初始训练集中训练出一个基学习器，然后根据基学习器的表现对训练集样本进行调整，使得先前基学习器做错的样本获得更多的关注，然后基于调整后的样本来训练下一个基学习器，如此反复训练$T$个基学习器，最终结合起来。

从提升树（BDT）到梯度提升树（GBDT）

提升树（BDT）

提升树是以决策树（分类树或者回归树）为基学习器的提升方法，提升树模型可以表示为加法模型：
$$H_T(x)=\sum _{i=1}^T{h}_i(x)$$
给定一个回归问题的训练数据集$D=\{(x_1,y_1),\dots ,(x_m,y_m)\}$，其中$x_i\in {\mathbb{R}}^n,y_i\in \mathbb{R}$，提升树的训练过程为：

1. 初始化$h_0(x)=0$
2. 对于$i=1,\dots ,T$：
   • 计算残差：$r_{ij}=y_j-H_{i-1}(x_j),j=1,\dots ,m$
   • 用数据$\{(x_j,r_{ij}){\}}_{j=1}^m$训练下一个决策树，得到$h_i(x)$
   • 更新$H_i(x)=H_{i-1}(x)+h_i(x)$
3. 得到回归问题的提升树
   $$H_T(x)=\sum _{i=1}^T{h}_i(x)$$

我们可以发现提升树中的残差，实际上是当损失函数为平方误差损失函数时的负梯度方向，因此我们可以稍作扩展，使损失函数不局限于均方误差损失函数，于是就得到了梯度提升树。

梯度提升树（GBDT）

给定一个回归问题的训练数据集$D=\{(x_1,y_1),\dots ,(x_m,y_m)\}$，其中$x_i\in {\mathbb{R}}^n,y_i\in \mathbb{R}$；损失函数为$L(y,\hat{y})$。梯度提升树的训练过程为：

1. 初始化$h_0(x)=\underset{c}{\mathrm{argmin}}{\sum }_{i=1}^{m}L(y_i,c)$
2. 对于$i=1,\dots ,T$：
   • 计算负梯度，即残差：
     $$r_{ij}=-\frac{\partial L(y_j,H_{i-1}(x_j))}{\partial H_{i-1}(x_j)},j=1,\dots ,m$$
   • 用数据$\{(x_j,r_{ij}){\}}_{j=1}^m$训练下一个决策树，得到$h_i(x)$
   • 更新$H_i(x)=H_{i-1}(x)+h_i(x)$
3. 得到回归问题的提升树
   $$H_T(x)=\sum _{i=1}^T{h}_i(x)$$

GBDT在sklearn中的参数如下：

sklearn.ensemble.GradientBoostingClassifier(*, loss='deviance', learning_rate=0.1, 
n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, 
min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, min_impurity_split=None, init=None, 
random_state=None, max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, 
presort='deprecated', validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)

解释一部分重要参数（部分参数与随机森林中参数一致）：

• n_estimators：基学习器的最大迭代次数，或基学习器的最大个数。调参过程中应该和learning_rate一起考虑。
• learning_rate：默认值为0.1。
• loss：损失函数的选取。对于分类问题有：'deviance'代表对数似然损失函数；'exponential'代表指数损失函数。对于回归问题有：'ls'代表均方误差损失；'lad'代表绝对损失；'huber'代表Huber损失；'quantile'代表Quantile损失。
• 'alpha'：这个参数只有GradientBoostingRegressor有，当我们使用Huber损失"huber"和分位数损失“quantile”时，需要指定分位数的值。默认是0.9，如果噪音点较多，可以适当降低这个分位数的值。

Huber损失即：
$$L_{\alpha }(y,f(x))=\{\begin{array}{rlr}& \frac{1}{2}(y-f(x){)}^2,& \text{if}|y-f(x)|\le \alpha \\ & \alpha |y-f(x)|-\frac{1}{2}\alpha ,& \text{if}|y-f(x)|>\alpha \end{array}$$
其中$y$为真实值，$f(x)$为预测值，$\alpha$是参数。当预测偏差小于$\alpha$时采用平方误差；当预测偏差大于$\alpha$时采用线性误差。Huber损失函数降低了对异常点的惩罚力度，是一种鲁棒回归的损失函数。

Quantile损失即：
$$L_{\alpha }(y,f(x))=\{\begin{array}{rlr}& \alpha (y-f(x)),& \text{if}y>f(x)\\ & (1-\alpha )(f(x)-y),& \text{if}y\le f(x)\end{array}$$
可以看出Quantile损失，对大于真实值和小于真实值的区域的关注程度不同。在实际应用中，同一个样本$x$可能有多种取值$y_1,y_2,\dots ,y_d$，如果使用平方误差或者绝对值误差，那么为了使损失最小，我们始终关注的是$y_1,\dots ,y_d$的中位数的取值，因为只有当$x$预测为他们之间的中位数，才能损失最小化。然而Quantile损失可以通过调整$\alpha$的取值，从而使学习器关注到中位数上方或者下方的取值，并将其输出。

从零推导AdaBoost

给定训练集$D=\{(x_i,y_i){\}}_{i=1}^m$，其中 y i ∈ { + 1 , − 1 } y_i\in\{+1, -1\} yi​∈{+1,−1}。令$f(x_i)=y_i$，即$f$为真实函数。AdaBoost的（加性）模型为：
$$H_T(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$
损失函数定义为指数损失，即：
$$l_{\text{exp}}(H|\mathcal{D})={\mathbb{E}}_{x\sim \mathcal{D}}[e^{-f(x)H(x)}]$$
其中$\mathcal{D}$代表初始的样本权值分布（也就是${\mathcal{D}}_1$）。

基本的任务描述完了，现在我们明确一下我们的目标：学得$T$个$h_t(x)$和对应的${\alpha }_t$，从而得到$H_T(x)$，使得$l_{\text{exp}}(H|\mathcal{D})$最小。显然，如果我们想要同时学得$T$个$h_t(x)$和相应的$T$个${\alpha }_t$相当困难，因此我们可以用前向分步算法一步一步来求。

具体来说，集成分类器可以写成
$$H_t(x)=H_{t-1}(x)+{\alpha }_t{h}_t(x),H_0(x)=0$$
方便起见，下面将$h_t(x)$简记为$h_t$，将$H_t(x)$简记为$H_t$，因此每一步我们只需要求解如下优化问题：
$$({\alpha }_t,h_t)=\underset{\alpha ,h}{\mathrm{argmin}}{l}_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})$$
尝试化简$l_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})$：
$$\begin{array}{rl}{l}_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})& ={\mathbb{E}}_{x\sim \mathcal{D}}[e^{-f(x)(H_{t-1}(x)+\alpha h(x))}]\\ & =\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)(H_{t-1}(x_i)+\alpha h(x_i))}\\ & =\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}{e}^{-f(x_i)\alpha h(x_i)}\end{array}$$
值得注意的是，由于$f(x_i)$和$h(x_i)$只能取$+1,-1$两个值，所以二者相等时，$f(x_i)h(x_i)=1$；二者不相等时，$f(x_i)h(x_i)=-1$，所以有：
$$e^{-f(x_i)\alpha h(x_i)}=e^{-\alpha }\mathbb{I}(f(x_i)=h(x_i))+e^{\alpha }\mathbb{I}(f(x_i)\ne h(x_i))$$
其中$\mathbb{I}(\cdot )$为指示函数。同时需要注意的是，$f(x_i)$和$h(x_i)$二者要么相等，要么不相等，所以有：
$$\mathbb{I}(f(x_i)=h(x_i))+\mathbb{I}(f(x_i)\ne h(x_i))=1$$
结合上述两个式子有：
$$\begin{array}{rl}& e^{-\alpha }\mathbb{I}(f(x_i)=h(x_i))+e^{\alpha }\mathbb{I}(f(x_i)\ne h(x_i))\\ =& e^{-\alpha }\mathbb{I}(f(x_i)=h(x_i))+e^{\alpha }\mathbb{I}(f(x_i)\ne h(x_i))+e^{-\alpha }\mathbb{I}(f(x_i)\ne h(x_i))-e^{-\alpha }\mathbb{I}(f(x_i)\ne h(x_i))\\ =& e^{-\alpha }(\mathbb{I}(f(x_i)=h(x_i))+\mathbb{I}(f(x_i)\ne h(x_i)))+(e^{\alpha }-e^{-\alpha })\mathbb{I}(f(x_i)\ne h(x_i))\\ =& e^{-\alpha }+(e^{\alpha }-e^{-\alpha })\mathbb{I}(f(x_i)\ne h(x_i))\end{array}$$
将上式回代到$l_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})$中可得：
$$\begin{array}{rl}& l_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})\\ =& \sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}(e^{-\alpha }+(e^{\alpha }-e^{-\alpha })\mathbb{I}(f(x_i)\ne h(x_i)))\\ =& \sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}{e}^{-\alpha }+\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}(e^{\alpha }-e^{-\alpha })\mathbb{I}(f(x_i)\ne h(x_i))\end{array}$$
令${\mathcal{D}}_t^{\prime }(x_i)=\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}$，有：
$$l_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})=e^{-\alpha }\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)+(e^{\alpha }-e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))$$
去除$h$的无关项，进而有：
$$\begin{array}{rl}{h}_t& =\underset{h}{\mathrm{argmin}}{l}_{\text{exp}}(H_{t-1}+\alpha h|\mathcal{D})\\ & =\underset{h}{\mathrm{argmin}}{e}^{-\alpha }\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)+(e^{\alpha }-e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\\ & =\underset{h}{\mathrm{argmin}}\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\end{array}$$
为了使${\mathcal{D}}_t^{\prime }(x_i)$为一个合法的分布，令${\mathcal{D}}_t(x_i)={\mathcal{D}}_t^{\prime }(x_i)/{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)$，进而有
$$\begin{array}{rl}{h}_t& =\underset{h}{\mathrm{argmin}}\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\\ & =\underset{h}{\mathrm{argmin}}\sum _{i=1}^{|D|}{\mathcal{D}}_t(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\\ & =\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim {\mathcal{D}}_t}[\mathbb{I}(f(x_i)\ne h(x_i))]\end{array}$$
可以看出，最优的$h_t$实际上就是在权重分布为${\mathcal{D}}_t$的数据集上，分类误差最小的$h$。因此我们只需要在第$t$次迭代的时，调整权重分布为${\mathcal{D}}_t$即可。为了方便迭代，我们可以求出${\mathcal{D}}_t^{\prime }$的递推公式（每次求出${\mathcal{D}}_t^{\prime }$之后，经过标准化就可以得到$\mathcal{D}$）：
$$\begin{array}{rl}{\mathcal{D}}_t^{\prime }& =\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}\\ & =\mathcal{D}(x_i)e^{-f(x_i)H_{t-2}(x_i)-f(x_i){\alpha }_{t-1}{h}_{t-1}(x_i)}\\ & ={\mathcal{D}}_{t-1}^{\prime }(x_i)e^{-f(x_i){\alpha }_{t-1}{h}_{t-1}(x_i)}\end{array}$$
现在来求${\alpha }_t$的表达式，首先对$l_{\text{exp}}(H_{t-1}+\alpha h_t|\mathcal{D})$求偏导，可得：
$$\begin{array}{rl}\frac{\partial l_{\text{exp}(H_{t-1}+\alpha h_t|\mathcal{D})}}{\partial \alpha }=& \frac{\partial e^{-\alpha }{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)+(e^{\alpha }-e^{-\alpha }){\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))}{\partial \alpha }\\ =& -e^{-\alpha }\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)+(e^{\alpha }+e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\end{array}$$
令偏导数为零可得：
$$\begin{array}{rl}\frac{e^{-\alpha }}{e^{\alpha }+e^{-\alpha }}& =\frac{{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)\mathbb{I}(f(x_i)\ne h(x_i))}{{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)}\\ & =\sum _{i=1}^{|D|}{\mathcal{D}}_t(x_i)\mathbb{I}(f(x_i)\ne h(x_i))\\ & ={\mathbb{E}}_{x\sim {\mathcal{D}}_t}[\mathbb{I}(f(x_i)\ne h(x_i))]\\ & ={ϵ}_t\end{array}$$
化简后可得：
$${\alpha }_t=\frac{1}{2}\ln \left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$$
于是可以给出AdaBoost的训练流程：

1. 初始化权重分布：${\mathcal{D}}_1(x)=1/m$
2. 对$t=1,\dots ,T$：
   • 在权重分布为${\mathcal{D}}_t$的数据集$D$上训练，得到$h_t$。
   • 计算误差：${ϵ}_t={\mathbb{E}}_{x\sim {\mathcal{D}}_t}[\mathbb{I}(f(x)\ne h(x))]$
   • 如果${ϵ}_t>0.5$，说明训练器失效，舍弃
   • 计算：${\alpha }_t=\frac{1}{2}\ln \left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$
   • 更新权重分布：${\mathcal{D}}_{t+1}(x)=\frac{{\mathcal{D}}_t(x)(-{\alpha }_{t}f(x)h_t(x))}{Z_t}$
3. 输出：$F(x)=\text{sign}\left({\sum }_{t=1}^T{\alpha }_t{h}_t(x)\right)$

AdaBoost在sklearn中的参数如下

sklearn.ensemble.AdaBoostClassifier(estimator=None, *, n_estimators=50, 
learning_rate=1.0, algorithm='SAMME.R', random_state=None)

解释一部分重要参数（模型参数取决于基学习器的选择，这里只解释公共参数）：

• estimator：输入字符串或者None。如果为None，则分类器默认为决策树桩。
• learning_rate：浮点数，默认为$1$。代表每个弱学习器的权重缩减系数。
• n_estimators：整数，默认为$50$。代表弱学习器的最大迭代次数。

实验部分

数据集介绍

数据集使用威斯康辛州乳腺癌数据集（Wisconsin Diagnostic Breast Cancer (WDBC)：诊断版本，发布于1996年，包含了569个样本，每个样本有1个id，1个类别标签和30个特征。类别标签是M或B，分别表示恶性或良性。数据集没有缺失值。

实验过程

我们分别调整随机森林、AdaBoost和GBDT的模型超参数，来观察超参数变化对模型的准确率有什么影响；然后从每个模型中选择最优的超参数设置，比较这三种集成模型的性能。

具体调整超参数的方式如下：

• 随机森林：
  • n_estimators：我们依次调整基学习器个数为20至500，每隔20取一次值。
  • max_depth：我们依次调整决策树的最大深度为 2 至 9，每隔 1 取一次值。
• AdaBoost：
  • n_estimators：我们依次调整基学习器个数为20至500，每隔20取一次值。
  • learning_rate：我们依次调整学习率为0.001至0.01，每隔0.001取一次值。
• GBDT：
  • n_estimators：我们依次调整基学习器个数为20至500，每隔20取一次值。
  • max_depth：我们依次调整决策树的最大深度为 2 至 9，每隔 1 取一次值。

实验结果

实验结果如图所示，对于随机森林模型和AdaBoost模型，我们发现随着最大深度的增加和基处理器数量的增加，模型的准确率总体上呈增长趋势，其中AdaBoost模型表现的尤为明显。这是由于AdaBoost主要降低的是模型的偏差，随着基学习器的增加，模型的拟合能力会增强；随机森林则是通过降低方差，随着基学习器增加，模型受样本扰动影响降低。

对于GBDT模型，我们可以明显的看出，当最大深度增加后，模型的准确率反而降低，我们猜测这是由于过拟合导致的，当最大深度为4时，模型的准确率基本维持在较高水平。

其中随机森林模型超参数取最优值时，准确率为98.24%；AdaBoost模型的超参数取最优值时，准确率为97.07%；GBDT模型的超参数取最优值时，准确率为97.66%。