GBDT算法梳理

Gradient Boost

大致介绍

Gradient Boost是一种用于regression和classification的机器学习技术，如同其他Boost算法一样，它是通过将弱学习器(Decision Tree)集成起来的。
​
在Gradient Boost算法的第m轮(1<m<M)，假设存在性能不佳的model $F_m$。Gradient Boost算法打算通过添加一个估计值h来构建一个新的模型$F_{m+1}$：$F_{m+1} = F_{m} + h(x)$。为了找到h，Gradient Boost算法假设有以下等式

因此，Gradient Boosting会让h来拟合残差$y-F_m(x)$.
​
正如在其它Boost算法里一样，$F_{m+1}(x)$是试图纠正前一model $F_m(x)$的errors。对于classification问题，将这一想法推广到除了square error function之外的loss function之中，可以推测残差值$y-F_m(x)$对于给定model即是square error loss function $\frac{1}{2}(y-F(x))^2$对$F(x)$的导数。故，Gradient Boosting算法可以视为Gradient Descent算法一种变形，并且为了泛化Gradient Boost将会需要”插入“不同的loss function和gradient。

算法流程

在许多监督学习问题中，都会有一个输出值y和一个输入向量x且其满足联合分布律$P(x,\ y)$. 使用对于已知变量x和对应变量y的训练集${\{(x_1,\ y_1 ), ...,(x_n,\ y_n)\}}$ ，目的是