GBDT原理与Sklearn源码分析-分类篇

摘要：

继上一篇文章，介绍完回归任务下的GBDT后，这篇文章将介绍在分类任务下的GBDT，大家将可以看到，对于回归和分类，其实GBDT过程简直就是一模一样的。如果说最大的不同的话，那就是在于由于loss function不同而引起的初始化不同、叶子节点取值不同。

正文：

GB的一些基本原理都已经在上文中介绍了，下面直接进入正题。
下面是分类任务的GBDT算法过程，其中选用的loss function是logloss。
$\large L\left(y_i,F_m(x_i)\right)=-\{y_ilogp_i+(1-y_i)log(1-p_i)\}$。
其中$\large p_i=\frac{1}{1+e^\left(-F_m(x_i)\right)}$

---

这里简单推导一下logloss通常化简后的式子：
$\large L\left(y_i,F_m(x_i)\right)=-\left\{y_ilogp_i+(1-y_i)log(1-p_i)\right\}$
（先不带入负号）
带入$\large p_i$=>$\large y_ilog\left(\frac{1}{1+e^\left(-F_m(x_i)\right)}\right)+(1-y_i)log\left(\frac{e^\left(-F_m(x_i)\right)}{1+e^\left(-F_m(x_i)\right)}\right)$
=>$\large -y_ilog(1+e^\left(-F_m(x_i)\right))+(1-y_i)\{log(e^\left(-F_m(x_i)\right))-log(1+e^\left(-F_m(x_i)\right))\}$
=>$\large -y_ilog(1+e^\left(-F_m(x_i)\right))+log(e^\left(-F_m(x_i)\right))-log(1+e^\left(-F_m(x_i)\right))-y_ilog(e^\left(-F_m(x_i)\right))+y_ilog(1+e^\left(-F_m(x_i)\right))$
=>$\large y_iF_m(x_i)-log\left(1+e^{F_m(x_i)}\right)$
最后加上负号可以得：
L(yi,Fm(xi))=−{ yilogpi+(1−yi)log(1−pi)}