机器学习---集成学习(三个臭皮匠顶个诸葛亮)

基本思路

群体智慧：如果能从所有的科学家中选择一群科学家组成一个团队，并且团队中的每个科学家都略强于随机选择的一个科学家，那么有理由相信这个科学家团队能比单个科学家做出更好的决定。
这样的群体智慧用到机器学习的学习器上也成立，集合多个个体学习器的方法称为集成学习。
目前集成学习主要分成两大流派：

• bagging
• boosting

1 bagging

一棵树是决策树，多棵树是随机森林，解决决策树泛化能力不足的缺点
随机森林：

• 随机选择样本
• 随机选择特征

而且是有放回的随机抽样：自主采样法(bootstap sampling)
分类器并行。

投票法：少数服从多数

2 boosting（提升）

自适应地改变训练样本的分布，使得弱分类器聚焦到那些很难分类的样本上。它的做法是每一个训练样本赋予一个权重，在每一轮训练结束后自动地调整权重。
弱分类器是串行的，因此是个迭代的过程。

• adaboost：boosting + 决策树
• GBDT：梯度提 升树
• XGBoost：

2.1 结合策略

多个学习器并不是简单的拼凑在一起，而是有策略的组合在一起，机器学习是靠数据驱动的，因此通过训练集就能找到能让每个学习器发挥最大效果的策略组合。
常用的组合策略有：

2.1.1 平均法

算术平均
加权平均
$$\begin{gathered} H(x)=1/n\sum _{i=1}^n{w}_i{h}_i \\ s.t.w_I\ge 0,\sum _{i=1}^n{w}_i=1 \end{gathered}$$

2.2.2 投票法

分类常用

• 相对多数投票法：少数服从多数
• 绝对多数投票法：投票数过半数
• 加权投票法：权重

2.2.3 学习法

代表：stacking
对结果再加一层学习器，将训练集弱学习器的学习结果作为输入，训练集的输出作为输出，重新训练一个学习器来得到最终结果。
kaggle中一般用学习法。

2.2 Adaboost (adaptive boosting)

Adaboost 被认为是模型为加法模型，损失函数为指数函数、学习算法为前向分布算法时的二类分类学习方法。

2.2.1 加法模型

加法模型可以看作模型是一系列基函数的线性组合。
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

$b(x;{\gamma }_m)$是基函数，${\gamma }_m$是基函数的参数，${\beta }_m$是基函数的系数。

2.2.2 损失函数

指数函数
$$L(y,f(x))=exp(-yf(x))$$

我们总是希望损失函数极小化：
$$\begin{gathered} \underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,f(x_i)) \\ =\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,\sum _{i=1}^M{\beta }_{m}b(x_i;{\gamma }_m)) \end{gathered}$$

2.2.3 前向分布算法

通常上面的损失函数是一个复杂的优化问题。但因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数项，就可以简化优化的复杂度。
具体每步只需要优化如下的损失函数：

1. 初始化模型$f_0(x)=0$;

2. 对每个样本$form=1,2,...M$

   • 极小化损失函数
     $$\underset{{\beta }_m,{\gamma }_m}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_{;}\gamma )))$$

   • 更新加法模型$f_m(x)$
     $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$

3. 得到加法模型：
   $$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

只需把基函数换成弱分类器$G_m(x)$，就能得到adaboost算法：

2.2.4 adaboost

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , y ∈ { − 1 , + 1 } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},y\in\{-1,+1\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},y∈{−1,+1}
输出：最终分类器$G(x)$

1. 初始化训练数据的权值分布：
   赋予训练集中每个样本一个权重，构成权重向量D，并假设每个权重都相等。
   $$D=(w_{11},...,w_{1i},...,w_{iN}),w_{1i}=\frac{1}{N}$$

2. 加法模型：叠加模型直到满足条件
   $form=1,2,...,M:$（m为模型个数）
   (a). 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器：
   G m ( x ) : χ → { − 1 , + 1 } G_m(x):\chi \to \{-1,+1\} Gm​(x):χ→{−1,+1}

   (b). 计算$G_m(x)$在训练数据集上的分类误差率：
   $$e_m=\frac{分错的数量}{样本总数}$$

   $$\begin{gathered} e_m=\frac{{\sum }_{i=1}^N{w}_{mi}I(y_i̸=G_m(x_i))}{{\sum }_{i=1}^N{w}_{mi}} \\ =\sum _{i=1}^N{w}_{mi}I(y_i̸=G_m(x_i)) \end{gathered}$$

   ©.计算分类器$G_m(x)$的权重系数
   $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$

   $1-e_m$是准确率，$\frac{1-e_m}{e_m}$是相对准确率，可见错误率$e_m$上升，分类器所占的权重${\alpha }_m$就会降低。
   (d). 更新训练数据集的权重分布
   $$D_{m+1}=(w_{m+1,1},w_{m+1,2},....,w_{m+1,N})$$

$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$

$Z_m$是归一化因子，它使$D_m$成为一个概率分布：
$$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$

3. 构建基本分类器的线性组合：
   $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

得到最终分类器：
$$G(x)=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

Adaboost的训练误差分析表明，Adaboost的每次迭代可以减少它在训练数据集上的分类误差率，这说明了它作为提升方法的有效性。

Adaboost的优点：

• 易用，需要调节的参数少；
• 弱分类器可以是任何模型，比如逻辑回归, 线性回归等等, 最常用的是决策树桩;

3. 提升树

提升树是以分类树和回归树为基本分类器的提升方法，提升方法采用加法模型与前向分布算法，以决策树为基函数的提升方法称为提升树。

3.1梯度提升树算法

当损失函数是平方损失和 指数损失函数时，每一步的优化是简单的。但对于一般损失函数而言，则利用损失函数的负梯度去近似平方损失中的残差。

代码实现

决策树桩：基于单个特征的单层决策树，相当于在分类平面的一条水平线
每个弱分类器只能选择一个特征。

参考：

1. 李航- 统计学习
2. https://zhuanlan.zhihu.com/p/38507561
3. https://www.bilibili.com/video/av56033745?from=search&seid=17687865746952149587