Boosting决策树：GBDT

GBDT (Gradient Boosting Decision Tree)属于集成学习中的Boosting流派，迭代地训练基学习器 (base learner)，当前基学习器依赖于上一轮基学习器的学习结果。 不同于AdaBoost自适应地调整样本的权值分布，GBDT是通过不断地拟合残差 (residual)来“纠错”基学习器的。

1. Gradient Boosting

Gradient Boosting Machine (GBM) 是由大牛Friedman [1,2] 提出来，基本思想非常简单：基学习器存在着分类/回归错误的情况，在下一轮基学习器学习时努力地纠正这个错误。在回归问题中，这个错误被称为残差。比如，在学习样本\((x, y)\)得到一个模型\(f\)，预测值为\(\hat{y} = f(x)\)；那么残差则为：

\[ y - \hat{y} = y- f(x) \]

如果定义损失函数为平方损失\(\frac{1}{2}(y-f(x))^2\)，那么其梯度为

\[ \frac{\partial \frac{1}{2}(y-f(x))^2}{\partial f(x)} = f(x) - y \]

可以发现：残差为负梯度方向。对于平方损失，每一步优化是很简单的；但是，对于其他损失函数呢？Friedman利用负梯度近似残差，将Gradient Boosting推广到一般损失函数\(L(y, x)\)。步骤如下：

(1) 计算伪残差 (pseudo-residual)，

\[ r_{im} = - \left[ \frac{\partial L(y_i, f(x_i))}{\partial f(x_i)} \right]_{f = f_{m-1}} \]

(2) 基学习器\(h_m(x)\)拟合样本\(\{ (x_i, r_{im}) \}\)；

(3) 计算最优乘子 (multiplier) \(\gamma_m\)，使得

\[ \gamma_m = \mathop{\arg \min} \limits_{\gamma} \sum_{i} L(y_i, f_{m-1}(x) + \gamma h_m(x_i)) \]

(4) 更新模型

\begin{equation}
f_m(x) = f_{m-1}(x) + \gamma_m h_m(x)
\label{eq:update}
\end{equation}

如此迭代，直至结束或模型收敛；最后一步得到的模型\(f_M(x)\)即为GBM的最终模型。

2. GBDT

如果基学习器为决策树时，GBM则被称为GBDT。决策树本质上是对特征空间的划分\(\{ R_{jm} \}\)，因此基学习器\(h_m(x)\)可改写为
\[ h_m(x) = \sum_j b_{jm} I(x \in R_{jm}) \]

其中，\(b_{jm}\)为预测值，\(I(.)\)为指示函数。那么，式子\eqref{eq:update}可以改写为

\[ f_m(x) = f_{m-1}(x) + \sum_j \gamma_{jm} I(x \in R_{jm}) \]

GBDT的算法步骤如下图所示（图片来自于 ESL [3]）：

为了减小过拟合，通过Shrinkage的方式：

\[ f_m(x) = f_{m-1}(x) + \upsilon \cdot \gamma_m h_m(x) \]

其中，\(\upsilon\)称之为学习率 (learning rate)。经验表明：当学习率\(\upsilon < 0.1\)时，泛化能力远远超过没有Shrinkage的模型（即\(\upsilon =1\)）。但是，低学习率同时也带来了更多的迭代次数。

sklearn包GradientBoostingRegressor实现了回归GBDT（分类用GradientBoostingClassifier），参数如下

loss: 损失函数，默认为平方损失ls
learning_rate: 学习率
n_estimators: 基学习器数目
max_depth: 决策树的最大深度
max_features: 最多特征数

3. 参考资料

[1] Friedman, Jerome H. "Greedy function approximation: a gradient boosting machine." Annals of statistics (2001): 1189-1232.
[2] Friedman, Jerome H. "Stochastic gradient boosting." Computational Statistics & Data Analysis 38.4 (2002): 367-378.
[3] Trevor Hastie, Robert Tibshirani, Jerome H. Friedman. The elements of statistical learning. Springer, Berlin: Springer series in statistics, 2009.
[4] Cheng Li, A Gentle Introduction to Gradient Boosting.