第8章 集成学习

第8章 集成学习

8.1 个体与集成

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时候也被称为多分类器系统(multi-classifier system)

个体学习器通常由一个现有的学习算法从训练数据产生。

集成中只包含同种类型的个体学习器，这样的集成是同质。同质集成中的个体学习器亦称为基学习器(base learner)，相应的学习算法亦称为基学习算法(base learning algorithm)

集成中包含不同类型的个体学习器，这样的集成是异质。异质集成中的个体学习器由不同的学习算法生成，这时个体学习器常称为组件学习器

分类

  个体学习器间存在强依赖关系、必须串行生成的序列化方法

  个体学习器间不存在依赖关系、同时生成的并行化方法

8.2 Boosting

Boosting是一族可将弱学习器提升为强学习器的算法。

工作机制

先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。

AdaBoost——加性模型(additive model)

基学习器的线性组合

$$H\left(x\right)=\sum _{t=1}^T{\alpha }_t{h}_t\left(x\right)$$

最小化指数损失函数(exponential loss function)

$$l_{\exp }\left(H|\mathcal{D}\right)={\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H\left(x\right)}\right]$$

若$H\left(x\right)$能令指数损失函数最小化，则

$$\frac{\partial l_{\exp }\left(H|\mathcal{D}\right)}{\partial H\left(x\right)}=-e^{-H\left(x\right)}P\left(f\left(x\right)=1|x\right)+e^{H\left(x\right)}P\left(f\left(x\right)=-1|x\right)$$

令上式为0，可得

$$H\left(x\right)=\frac{1}{2}\ln \frac{P\left(f\left(x\right)=1|x\right)}{P\left(f\left(x\right)=-1|x\right)}$$

因此，有

$$\text{sign}\left(H\left(x\right)\right)=\text{sign}\left(\frac{1}{2}\ln \frac{P\left(f\left(x\right)=1|x\right)}{P\left(f\left(x\right)=-1|x\right)}\right)$$

$$=\{\begin{array}{c}1,P\left(f\left(x\right)=1|x\right)>P\left(f\left(x\right)=-1|x\right)\\ -1,P\left(f\left(x\right)=1|x\right)<P\left(f\left(x\right)=-1|x\right)\end{array}$$

$$=arg\max P\left(f\left(x\right)=y|x\right)$$

在AdaBoost算法中，第一个基学习器$h_1$是通过直接将基学习算法用于初始数据分布而得；此后迭代地生成$h_t$和${\alpha }_t$，当基分类器$h_t$基于分布${\mathcal{D}}_t$产生后，该基分类器的权重${\alpha }_t$应使得${\alpha }_t{h}_t$最小化指数损失函数

$$l_{\exp }\left({\alpha }_t{h}_t|{\mathcal{D}}_t\right)={\mathbb{E}}_{x\sim {\mathcal{D}}_t}\left[e^{-f\left(x\right){\alpha }_t{h}_t\left(x\right)}\right]$$

$$={\mathbb{E}}_{x\sim {\mathcal{D}}_t}\left[e^{-{\alpha }_t}\mathbb{I}\left(f\left(x\right)=h_t\left(x\right)\right)+e^{{\alpha }_t}\mathbb{I}\left(f\left(x\right)̸=h_t\left(x\right)\right)\right]$$

$$=e^{-{\alpha }_t}{P}_{x\sim {\mathcal{D}}_t}\left(f\left(x\right)=h_t\left(x\right)\right)+e^{{\alpha }_t}{P}_{x\sim {\mathcal{D}}_t}\left(f\left(x\right)̸=h_t\left(x\right)\right)$$

$$=e^{-{\alpha }_t}\left(1-{ϵ}_t\right)+e^{{\alpha }_t}{ϵ}_t$$

其中${ϵ}_t=P_{x\sim {\mathcal{D}}_t}\left(f\left(x\right)̸=h_t\left(x\right)\right)$。考虑指数损失函数的导数

$$\frac{\partial l_{\exp }\left({\alpha }_t{h}_t|{\mathcal{D}}_t\right)}{\partial {\alpha }_t}=-e^{-{\alpha }_t}\left(1-{ϵ}_t\right)+e^{{\alpha }_t}{ϵ}_t$$

令上式等于0，得分类器权重更新公式

$${\alpha }_t=\frac{1}{2}\ln \left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$$

理想的$h_t$能纠正$H_{t-1}$的全部错误，即

$$l_{\exp }\left(H_{t-1}+h_t|\mathcal{D}\right)={\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)\left(H_{t-1}\left(x\right)-h_t\left(x\right)\right)}\right]$$

$${\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}{e}^{-f\left(x\right)h_t\left(x\right)}\right]$$

使用泰勒展式近似为

$$l_{\exp }\left(H_{t-1}+h_t|\mathcal{D}\right)\simeq {\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\left(1-f\left(x\right)h_t\left(x\right)+\frac{f^2\left(x\right)h_t^2\left(x\right)}{2}\right)\right]={\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\left(1-f\left(x\right)h_t\left(x\right)+\frac{1}{2}\right)\right]$$

理想学习器

$$h_t\left(x\right)=\arg l_{\exp }\left(H_{t-1}+h|\mathcal{D}\right)=\arg {\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\left(1-f\left(x\right)h\left(x\right)+\frac{1}{2}\right)\right]=\arg {\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}f\left(x\right)h\left(x\right)\right]=\arg {\mathbb{E}}_{x\sim \mathcal{D}}\left[\frac{e^{-f\left(x\right)H_{t-1}\left(x\right)}}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\right]}f\left(x\right)h\left(x\right)\right]$$

注意到${\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\right]$是一个常数，令${\mathcal{D}}_t$表示一个分布

$${\mathcal{D}}_t\left(x\right)=\frac{\mathcal{D}\left(x\right)e^{-f\left(x\right)H_{t-1}\left(x\right)}}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\right]}$$

则

$$h_t\left(x\right)=\arg {\mathbb{E}}_{x\sim \mathcal{D}}\left[\frac{e^{-f\left(x\right)H_{t-1}\left(x\right)}}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\right]}f\left(x\right)h\left(x\right)\right]=\arg {\mathbb{E}}_{x\sim {\mathcal{D}}_t}\left[f\left(x\right)h\left(x\right)\right]$$

由 f ( x ) , h ( x ) ∈ { − 1 , 1 } f\left( x \right),h\left( x \right) \in \left\{ - 1,1 \right\} f(x),h(x)∈{−1,1},有

$$f\left(x\right)h\left(x\right)=1-2\mathbb{I}\left(f\left(x\right)̸=h\left(x\right)\right)$$

则理想的基学习器

$$h_t\left(x\right)=\arg \min {\mathbb{E}}_{x\sim {\mathcal{D}}_t}\left[\mathbb{I}\left(f\left(x\right)̸=h\left(x\right)\right)\right]$$

理想的$h_t$将在分布${\mathcal{D}}_t$下最小化分类误差。考虑到${\mathcal{D}}_t$和${\mathcal{D}}_{t+1}$的关系，有样本分布更新公式：

$${\mathcal{D}}_{t+1}=\frac{\mathcal{D}\left(x\right)e^{-f\left(x\right)H_t\left(x\right)}}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_t\left(x\right)}\right]}=\frac{\mathcal{D}\left(x\right)e^{-f\left(x\right)H_{t-1}\left(x\right)}{e}^{-f\left(x\right){\alpha }_t{h}_t\left(x\right)}}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_t\left(x\right)}\right]}={\mathcal{D}}_t\left(x\right)\ast e^{-f\left(x\right){\alpha }_t{h}_t\left(x\right)}\frac{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_{t-1}\left(x\right)}\right]}{{\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f\left(x\right)H_t\left(x\right)}\right]}$$

8.3 Bagging与随机森林

8.3.1 Bagging

Bagging是并行式集成学习方法，基于自助采样法。

给定包含m个样本的数据集，先随机取出一个样本放入采样集中，再把该样本放回初始数据集。使得下次采样时该样本仍有可能被选中，经过m次随机采样操作，得到包含m个样本的采样集。

Bagging流程

采样T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。

Bagging通常对分类任务使用简单投票法，对回归任务使用简单平均法。

假定基学习器的计算复杂度为$O\left(m\right)$，则Bagging的复杂度大致为$T\left(O\left(m\right)+O\left(s\right)\right)$

令${\mathcal{D}}_t$表示$h_t\left(x\right)$实际使用的训练样本集，令$H^{\text{oob}}\left(x\right)$表示对样本的包外预测，即仅考虑那些未使用x训练的基学习器在x上的预测，有

$$H^{\text{oob}}\left(x\right)=\arg \max \sum _{t=1}^T\mathbb{I}\left(h_t\left(x\right)=y\right)\ast \mathbb{I}\left(x\notin {\mathcal{D}}_t\right)$$

则Bagging泛化误差的包外估计为

$${ϵ}^{\text{oob}}=\frac{1}{\left|\mathcal{D}\right|}\sum _{\left(x,y\right)\in \mathcal{D}}\mathbb{I}\left(H^{\text{oob}}\left(x\right)̸=y\right)$$

8.3.2 随机森林

随机森林(Random Forest,RF)是Bagging的一个扩展变体。RF在以决策树为基础学习器构建Bagging基础的基础上，进一步在决策树的训练过程中引入随机属性选择。

RF

对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分。一般情况下，参数$k=d$

优点：随机森林简单、容易实现、计算开销小。

8.4 结合策略

学习器结合的好处

  1、减小单学习器泛化性能不佳的风险

  2、降低陷入糟糕局部极小点的风险

  3、扩大假设空间

8.4.1 平均法

简单平均法(simple average)

$$H\left(x\right)=\frac{1}{T}\sum _{i=1}^T{h}_i\left(x\right)$$

加权平均法

$$H\left(x\right)=\sum _{i=1}^T{\omega }_i{h}_i\left(x\right)$$

其中${\omega }_i$是个体学习器$h_i$的权重，通常要求${\omega }_i\ge 0,{\sum }_{i=1}^T{\omega }_i=1$

集成学习研究的基本出发点，对给定的基学习器，不同的集成学习方法可视为通过不同的方式来确定加权平均法中的基学习器权重。

8.4.2 投票法

学习器$h_i$将从类别集合 { c 1 , c 2 , … , c N } \left\{ c_{1},c_{2},\ldots,c_{N} \right\} {c1​,c2​,…,cN​}中预测出一个标记，将$h_i$在样本x上的预测输出表示为一个N维向量$\left(h_i^1\left(x\right);h_i^2\left(x\right);\dots ;h_i^N\left(x\right)\right)$，其中$h_i^j\left(x\right)$是$h_i$在类别标记$c_j$上的输出

绝对多数投票法(majority voting)

$$H\left(x\right)=\{\begin{array}{c}{c}_j,if{\sum }_{i=1}^T{h}_i^j\left(x\right)>0.5{\sum }_{k=1}^N{\sum }_{i=1}^T{h}_i^k\left(x\right)\\ \text{reject},otherwise\end{array}$$

即若某标记得票过半数，则预测为该标记，否则拒绝预测。

相对多数投票法(plurality voting)

$$H\left(x\right)=c_{\arg \max {\sum }_{i=1}^T{h}_i^j\left(x\right)}$$

即预测为得票最多的标记，若同时有多个标记获最高票，则从中随机选取一个。

加权投票法(weighted voting)

$$H\left(x\right)=c_{\arg \max {\sum }_{i=1}^T{\omega }_i{h}_i^j\left(x\right)}$$

其中${\omega }_i$是个体学习器$h_i$的权重，通常要求${\omega }_i\ge 0,{\sum }_{i=1}^T{\omega }_i=1$

硬投票(hard voting)：类标记 h i j ( x ) ∈ { 0.1 } h_{i}^{j}\left( x \right) \in \left\{ 0.1 \right\} hij​(x)∈{0.1}，若$h_i$将样本x预测为类别$c_j$则取值为1，否则为0。

软投票(soft voting)：类概率$h_i^j\left(x\right)\in \left[0,1\right]$，若$h_i$将样本x预测为类别$c_j$则取值为1，否则为0。

8.4.3 学习法

通过另一个学习器来进行结合。把个体学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器(meta-learner)

8.5 多样性

8.5.1 误差-分歧分解

假定用个体学习器$h_1,h_2,\dots ,h_T$通过加权平均法结合产生的集成来完成回归学习任务$f:{\mathbb{R}}^d\to \mathbb{R}$。对示例x，定义学习器$h_i$的分歧(ambiguity)为

$$A\left(h_i|x\right)={\left(h_i\left(x\right)-H\left(x\right)\right)}^2$$

则集成的分歧为

$$\overline{A}\left(h|x\right)=\sum _{i=1}^T{\omega }_{i}A\left(h_i|x\right)=\sum _{i=1}^T{\omega }_i{\left(h_i\left(x\right)-H\left(x\right)\right)}^2$$

分歧项表征了个体学习器在样本x上的不一致性。个体学习器$h_i$和集成H的平方误差分别为

$$E\left(h_i|x\right)={\left(f\left(x\right)-h_i\left(x\right)\right)}^2$$

$$E\left(h|x\right)={\left(f\left(x\right)-H\left(x\right)\right)}^2$$

令$\overline{E}\left(h|x\right)={\sum }_{i=1}^T{\omega }_{i}E\left(h_i|x\right)$表示个体学习器误差的加权均值，有

$$\overline{A}\left(h|x\right)=\sum _{i=1}^T{\omega }_{i}E\left(h_i|x\right)-E\left(H|x\right)=\overline{E}\left(h|x\right)-E\left(H|x\right)$$

令$p\left(x\right)$表示样本的概率密度，则在全样本上有

$$\sum _{i=1}^T{\omega }_i{\int }_{}^{}A\left(h_i|x\right)p\left(x\right)\text{dx}=\sum _{i=1}^T{\omega }_i{\int }_{}^{}E\left(h_i|x\right)p\left(x\right)dx-{\int }_{}^{}E\left(H|x\right)p\left(x\right)\text{dx}$$

个体学习器$h_i$在全样本上的泛化误差和分歧项分别为

$$E_i={\int }_{}^{}E\left(h_i|x\right)p\left(x\right)\text{dx}$$

$$A_i={\int }_{}^{}A\left(h_i|x\right)p\left(x\right)\text{dx}$$

集成的泛化误差为

$$E={\int }_{}^{}E\left(H|x\right)p\left(x\right)\text{dx}$$

再令$\overline{E}={\sum }_{i=1}^T{\omega }_i{E}_i$表示个体学习器泛化误差的加权均值，$\overline{A}={\sum }_{i=1}^T{\omega }_i{A}_i$表示个体学习器的加权分歧值，有

$$E=\overline{E}-\overline{A}$$

个体学习器准确性越高、多样性越大，则集成越好。

8.5.2 多样性度量

多样性度量(diversity measure)是用于度量集成中个体分类器的多样性。即估计个体学习器的多样化程度。

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D = \left\{ \left( x_{1},y_{1} \right),\left( x_{2},y_{2} \right),\ldots,\left( x_{m},y_{m} \right) \right\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，对二分类任务， y i ∈ { − 1 , 1 } y_{i} \in \left\{ - 1,1 \right\} yi​∈{−1,1}，分类器$h_i$和$h_j$的预测结果列联表(contingency table)为

其中，a表示$h_i$和$h_j$均预测为正类的样本数目；b、c、d含义由此类推；$a+b+c+d=m$

不合度量(disagreement measure)

$${\text{dis}}_{\text{ij}}=\frac{b+c}{m}$$

${\text{dis}}_{\text{ij}}$的值域为$\left[0,1\right]$，值越大则多样性越大。

相关系数(correlation coefficient)

$${\rho }_{\text{ij}}=\frac{ad-bc}{\sqrt{\left(a+b\right)\left(a+c\right)\left(c+d\right)\left(b+d\right)}}$$

${\rho }_{\text{ij}}$的值域为$\left[-1,1\right]$，若$h_i$和$h_j$无关，则值为0；若$h_i$和$h_j$正相关则值为正，否则为负。

Q-统计量(Q-statistic)

$$Q_{\text{ij}}=\frac{ad-bc}{ad+bc}$$

$Q_{\text{ij}}$与相关系数${\rho }_{\text{ij}}$的符号相同，且$\left|Q_{\text{ij}}\right|>\left|{\rho }_{\text{ij}}\right|$

$\mathcal{K}$-统计量($\mathcal{K}$-statistic)

$$\mathcal{K}=\frac{p_1-p_2}{1-p_2}$$

其中，$p_1$是两个分类器取得一致的概率；$p_2$是两个分类器偶然达成一致的概率，由数据集D估算：

$$p_1=\frac{a+d}{m}$$

$$p_2=\frac{\left(a+b\right)\left(a+c\right)+\left(c+d\right)\left(b+d\right)}{m^2}$$

若$h_i$和$h_j$在D上完全一致，则$\mathcal{K}=1$；若$h_i$和$h_j$偶尔达成一致，则$\mathcal{K}=0$；$\mathcal{K}$通常为非负值。

8.5.3 多样性增强

数据样本扰动

通常是基于采样法，此类做法简单高效，使用最广。

输入属性扰动

训练样本通常由一组属性描述，不同的子空间提供了观察数据的不同视角。

随机子空间(random subspace)算法：依赖于输入属性扰动，该算法从初始属性集中抽取若干个属性子集，再基于每个属性子集训练一个基学习器。

输出表示扰动

基本思想：对输出表示进行操纵以增强多样性。

算法参数扰动

基学习算法一般都有参数需进行设置，通过随机设置不同的参数，往往可产生差别较大的个体学习器。