GBDT推导-拟合负梯度和残差

梯度提升树-为什么拟合负梯度

将学习器F看做一个参数，损失函数为
$L(y,F)$，为使L损失最小，采用梯度下降法：
$$F_m=F_{m-1}-\frac{dL}{dF}$$
提升树采用加法模型（基函数的线性组合）与前向分布算法：
$$F_m=F_{m-1}+T$$
T为训练的新树，所以有：
$$T=-\frac{dL}{dF}$$
因此每次需要拟合的是损失函数的负梯度值。
平方损失是特例（拟合残差）。

平方损失函数-为什么拟合残差

第t轮损失函数的负梯度为
$$-\frac{dL(y,F_{t-1})}{d{F}_{t-1}}$$
平方损失函数为
$$L(y,F)=\frac{1}{2}(y-F{)}^2$$
负梯度为
$$-\frac{dL(y,F_{t-1})}{d{F}_{t-1}}=$$
$$-\frac{d(\frac{1}{2}(y-F_{t-1}{)}^2)}{d{F}_{t-1}}=$$
$$-\frac{(y-F_{t-1})\ast d(y-F_{t-1})}{d{F}_{t-1}}=$$
$$-\frac{(y-F_{t-1})\ast -d(F_{t-1})}{d{F}_{t-1}}=$$
$$(y-F_{t-1})$$
当损失函数为平方损失时，负梯度值等于残差值。

初始化弱学习器

$$f_0(x)=argmi{n}_c\sum _{i=1}^{N}L(y_i,c)$$
当$f_0(x)$为最小值时，求c的取值。使用平方损失函数，由于平方损失是凸函数，直接求导数为0时c的取值
$$\sum _{i=1}^N\frac{\partial L(y_i,c)}{\partial c}=$$
$$\sum _{i=1}^N\frac{\partial (\frac{1}{2}(y_i-c{)}^2)}{\partial c}=$$
$$\sum _{i=1}^N\frac{(y_i-c)\ast \partial (y_i-c)}{\partial c}=$$
$$\sum _{i=1}^N(c-y_i)$$
令导数等于0
$$\sum _{i=1}^N(c-y_i)=0$$
$$\sum _{i=1}^{N}c=\sum _{i=1}^N{y}_i$$
$$c=(\sum _{i=1}^N{y}_i)/N$$
初始学习器$f_0(x)$ = c = 所有训练样本标签值的均值。