集成学习—SGBT随机梯度提升树

上一篇集成学习—GBDT原理理解中提到，由于GBDT的弱学习器之间存在依赖关系，难以并行训练数据，因此若数据量较大时程序运行太慢。这里可以通过加入了自采样的SGBT来达到部分并行，这是一个能改善GBDT的一种方法。

SGBT全称Stochastic Gradient Boosting Tree，也就是随机梯度提升树，它是在2002年Jerome H. Friedman的《Stochastic Gradient Boosting》这篇论文中提出。

实际上，SGBT只是在GBDT的基础上加了一个随机子采样，不把全部的数据都放进去做boosting，而是只随机选取一部分，这样可以减少计算量，加快模型学习的速度。

原论文的关键原理如下：

Breiman(1996)在他的“bagging”过程中引入了一个概念，将随机性注入到函数估计过程中可以提高它们的性能。AdaBoost的早期实现(Freund和Schapire, 1996)也采用了随机抽样，但这被认为是对确定性权重的近似，因为有的基学习器不支持带权重的样本（这里和西瓜书上说的是一致的），而不是作为算法的基本步骤。Breiman(1999)提出了一个混合套袋提升过程(“适应性套袋 adaptive bagging”)用于最小二乘拟合加性模型。它在每次boosting迭代中用对应的套袋的基学习器来替代之前常规的boosting程序中的基学习器，用袋外残差来替代普通的残差。

受Breiman(1999)启发，对梯度提升算法进行了小小的改动，即将随机性整合到梯度提升算法中。特别地，在每次迭代中，从所有的训练集中随机地(不重复)进行子采样，然后使用这个随机抽取的子样本而不是全部样本用来拟合一个基学习器(第4行)，并计算模型对当前迭代的更新(第5行)。

令 { y i , x i } 1 N \{y_i,x_i\}_1^N {yi​,xi​}1N​表示全部训练集样本， { π ( i ) } 1 N \{\pi(i)\}_1^N {π(i)}1N​表示整数 { 1 , … , N } \{1,\dots,N\} {1,…,N}的随机重排。则大小为$\tilde{N}<N$的随机子样本表示为 { y π ( i ) , x π ( i ) } 1 N \{y_{\pi(i)},x_{\pi(i)}\}_1^N {yπ(i)​,xπ(i)​}1N​。随机梯度提升算法为：

1. 初始化$F_0(x)=\arg {\min }_{\gamma }{\sum }_{i=1}^{N}L(y_i,\gamma )$
2. 对$m=1$到$M$循环：
   (1) $N$个数据随机打乱 { π ( i ) } 1 N = r a n d _ p e r m { i } 1 N \{\pi(i)\}_1^N=rand\_perm\{i\}_1^N {π(i)}1N​=rand_perm{i}1N​
   (2)对$i=1,2,\dots ,\tilde{N}$，计算：$${\tilde{r}}_m^{\pi (i)}=-[\frac{\partial L(y_{\pi (i)},F(x_{\pi (i)}))}{\partial F(x_{\pi (i)})}{]}_{F=F_{m-1}}$$(3) 对 { x π ( i ) , r ~ m π ( i ) } 1 N \{x_{\pi(i)},\tilde r_{m}^{\pi(i)}\}_1^N {xπ(i)​,r~mπ(i)​}1N​拟合一个回归树，得到第$m$颗树的叶结点区域$R_m^j,j=1,2,\dots ,J$
   (4) 对$j=1,2,\dots ,J$，计算：$${\gamma }_m^j=\arg \underset{\gamma }{\min }\sum _{x_{\pi (i)}\in R_m^j}L(y_{\pi (i)},F_{m-1}(x_{\pi (i)})+\gamma )$$(5)更新$F_m(x)=F_{m-1}(x)+\nu \cdot {\sum }_{j=1}^J{\gamma }_m^{j}I(x\in R_m^j)$
3. 输出$\hat{F}(x)=F_M(x)$

当$\tilde{N}=N$时就没有随机性，这个算法就和之前的GBDT是一样的。比例$f=\tilde{N}/N$越小，在连续迭代中的随机样本就会差别越大，因此，整个程序的整个随机性就越大。用$f=1/2$的值大致等价于在每次迭代中使用自助采样（boostrap）。使用$\tilde{N}=f\cdot N$也会使得计算量减少$f$倍。然而，使用越小的$f$值会减少每次迭代用来训练基学习器的数据量，这会导致单个基学习器的方差增加。