集成学习

简介

多个“弱学习器”，组合产生了最终结果，往往具备比较好的泛化特征

简单分析

考虑二分类问题 y ∈ { − 1 , 1 } y \in \{-1,1\} y∈{−1,1}，假设基分类器的错误率为 $ϵ$
$$p(h_i(x)\ne g(x))=ϵ$$
利用投票法集成
$$H(x)=sign(\sum _{t=1}^T{h}_t(x))$$
错误率：
P ( H ( x ) ≠ g ( x ) ) = ∑ k = 0 [ T / 2 ] ( T k ) （ 1 − ϵ ) k ϵ T − k ≤ e x p { − 0.5 T ( 1 − 2 ϵ ) 2 } P(H(x)\neq g(x))=\sum_{k=0}^{[T/2]}\tbinom{T}{k}（1-\epsilon)^k\epsilon^{T-k}\leq exp\{-0.5T(1-2\epsilon)^2\} P(H(x)​=g(x))=k=0∑[T/2]​(kT​)（1−ϵ)kϵT−k≤exp{−0.5T(1−2ϵ)2}
(根据Hoeffding不等式)
comment:

1. $ϵ<0.5$
2. T$\uparrow$,exp$\downarrow$
3. 与$h_t(x)$独立性有关
   要求：好而不同

提升方法（Boosting）

Adaboost:提高那些前一轮被弱分类器分错的样本的权值，降低正确的（loss function weight）

Adaboost 算法

Adaboost 算法解读

前向分布算法

可加模型
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$

优化损失函数
$$mi{n}_{({\beta }_m,{\gamma }_m),0\le m\le M}\sum _{i}L(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i,{\gamma }_m))$$

算法

输入 ：数据集，损失函数，基函数集
输出：加法模型$f(x)$
step:

1. 初始化$f_0(x)=0$
2. 对 $m=1,\cdots ,M$
   (a)极小化损失函数
   $$({\beta }_m,{\gamma }_m)=argmin\sum _i^{n}L(y_i,f_{m-1}(x_i){\beta }_{m}b(x_i,{\gamma }_m))$$
   (b)更新
   $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x,{\gamma }_m)$$
3. 得到加法模型
   $$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$

comment：
将同时求解$m=1,\cdots ,M$的$({\gamma }_m,{\beta }_m)$，转变为逐个求解的问题

前向分布与Adaboost

定理： adaboost是前向分布算法的特例，其中模型是基本模型组成的加法模型，损失函数是指数函数，其中指数函数的形式是
L ( y , f ( x ) ) = e x p { − y f ( x ) } L(y,f(x))=exp\{-yf(x)\} L(y,f(x))=exp{−yf(x)}

proof:
需要证明${\alpha }_m$的计算公式和权重更新公式
假设$m-1$轮迭代已经得到了$f_{m-1}(x)$
第m轮迭代需要得到${\alpha }_m,G_m(x),f_m(x)$
( α m , G m ( x ) ) = a r g m i n ∑ i n e x p { − y i ( f m − 1 ( x ) + α G ( x ) ) } = a r g m i n ∑ i n w ˉ m i e x p { − y i ( α G ( x ) ) } (\alpha_m,G_m(x))=argmin \sum_{i}^{n} exp\{ -y_i(f_{m-1}(x)+\alpha G(x))\}=argmin \sum_{i}^{n} \bar w_{mi}exp\{ -y_i(\alpha G(x))\} (αm​,Gm​(x))=argmin∑in​exp{−yi​(fm−1​(x)+αG(x))}=argmin∑in​wˉmi​exp{−yi​(αG(x))}
${\bar{w}}_{mi}$:没有经过归一化的$w_{mi}$
最优的$G(x)$由下式得到
$$G_m^{\ast }=argmi{n}_G\sum _i^n{\bar{w}}_{mi}I(Y_i\ne G(x_i))$$
对$\alpha$求导，即可证，并可证权重更新公式

Adaboost训练误差分析

定理：Adaboost的最终分类器的训练误差边界
$$\frac{1}{N}\sum _{i}I(G(x_i)\ne y_i)\le \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))=\prod _m{Z}_m$$
$$其中Z_m=\sum _i{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
proof
第一个不等式：
$exp(-y_{i}f(x_i))>1$ if $y_i\ne f(x_i)$
第二个等式证明
w m + 1 , i = w m , i e x p { − α m y i G m ( x i ) } Z m w_{m+1,i}=\frac{w_{m,i}exp\{-\alpha_m y_i G_m(x_i)\}}{Z_m} wm+1,i​=Zm​wm,i​exp{−αm​yi​Gm​(xi​)}​

$$\begin{gathered} \frac{1}{N}{\sum }_{i}exp(-y_{i}f(x_i)) \\ =\frac{1}{N}{\sum }_i{\prod }_{m=1}exp(-{\alpha }_m{y}_i{G}_m(x_i)) \\ =w_{1,1}{\sum }_i{\prod }_{m=2}{z}_1\frac{w_{2,1}}{w_{1,1}}exp(-{\alpha }_m{y}_i{G}_m(x_i)) \\ ={\prod }_m{Z}_m \end{gathered}$$

定理：二分类问题的训练误差界

提升树

提升树模型

以决策树为基的提升方法称为提升树，提升树可以表示为决策树的加法模型
$$f_M(x)=\sum _{m}T(x,{\theta }_m)$$
对于分类问题，只需要将Adaboost中的所有集分类器设为2分类树
对于回归问题，采用平方误差
L ( y , f m − 1 ( x ) + T ( x , θ m ) ) = { y − f m − 1 ( x ) − T ( x , θ m ) } 2 L(y,f_{m-1}(x)+T(x,\theta_m))=\{y-f_{m-1}(x)-T(x,\theta_m)\}^2 L(y,fm−1​(x)+T(x,θm​))={y−fm−1​(x)−T(x,θm​)}2

梯度提升算法

Bagging 算法

希望个体学习器尽可能的独立
解决方法：多次使用重抽样数据
步骤：

1. 对数据进行T次bootstrp重抽样，每次采样M个样本进行训练
2. 输出最终结果
   分类问题：投票法
   回归问题：求平均
   注：泛化误差的包外估计（out of bag estimate）
   对于每棵树在“包内”（M个训练样本）在“包外”预测，泛化误差可以用“包外”的错误率估计

随机森林（Random Forest）

算法：

1. for $b=1,\cdots ,B$
   (a)draw a bootstrap sample $z^{\ast }$of size N from the training data
   (b)grow a tree $T_b$ to the bootstrap data by random selecting $p_1$ features from $p$ variables
2. output the ensemble trees { T b } b = 1 B \{T_b\}_{b=1}^B {Tb​}b=1B​,make prediction

评估变量的重要性

方法一：(用训练数据)
对于每一棵树，变量重要性可以用该变量分裂后的评价指标（e.g.基尼指数）的下降来量化
对所有树取平均，可以作为重要性的度量
方法二：（用包外数据）
评价$x_j$的重要性，对包外数据的第$x_j$列进行干扰（随机变换顺序）
计算预测值的降低
所有树取平均