GBDT梯度提升分类树原理

本文主要介绍GBDT(Gradient Boosting Decision Tree)的实现原理。

算法

其中，$F_0$表示决策回归树的初始值。

损失函数为：
$\psi (y,F(x))=-ylo{g}_e(p)-(1-y)lo{g}_e(1-p)$，其中$p=\frac{1}{1+exp(-F(x))}$

推导过程

1. 损失函数处理

首先进行化简：

$$\begin{gathered} \psi (y,F(x))=yln(1+exp(-F(x)))-(1-y)ln(\frac{exp(-F(x))}{1+exp(-F(x))}) \\ =yln(1+exp(-F(x)))-(1-y)(-F(x)-ln(1+exp(-F(x)))) \\ =(1-y)F(x)+yln(1+exp(-F(x)))+(1-y)ln(1+exp(-F(x))) \\ =(1-y)F(x)+ln(1+exp(-F(x))) \\ =-yF(x)+F(x)+ln(1+exp(-F(x))) \\ =-yF(x)+ln(exp(F(x)))+ln(1+exp(-F(x))) \\ =-yF(x)+ln(exp(F(x))\ast (1+exp(-F(x))) \\ =-yF(x)+ln(1+exp(F(x))) \\ =-(yF(x)-ln(1+exp(F(x)))) \end{gathered}$$

接着进行求导：

${\psi }^{\prime }(y,F(x))=-y+\sigma (F(x))$，其中$\sigma (F(x))=\frac{1}{1+exp(-F(x))}$
${\psi }^{\prime \prime }(y,F(x))=\sigma (F(x))(1-\sigma (F(x)))$

2. 决策回归树初始值计算

$F_0(x)=\rho$
$F<$