GBDT原理与实践-多分类篇

摘要：

GBDT-分类
GBDT-回归
前面两篇文章已经详细介绍了在回归和分类下的GBDT算法。这一篇文章将最后介绍一个多分类任务的GBDT。其过程和二分类的GBDT类似，但是有一个地方有很大的不同，下文将详细的介绍。

正文：

下图是Friedman在论文中对GBDT多分类给出的伪代码：

---

从代码上看，大致和分类时候的过程一样。最大的不同点在于多了一层内部的循环For。

这里需要注意的是：
1.对于多分类任务，GDBT的做法是采用一对多的策略（详情见文章）。
也就是说，对每个类别训练M个分类器。假设有K个类别，那么训练完之后总共有M*K颗树。
2.两层循环的顺序不能改变。也就是说，K个类别都拟合完第一颗树之后才开始拟合第二颗树，不允许先把某一个类别的M颗树学习完，再学习另外一个类别。

---

算法6使用的是多分类常用的损失函数：
$\large L\left(\{y_k,F_k(x)\}_1^K\right)=-\sum_{k=1}^Ky_klogp_k(x)$
其中$\large p_k(x)=\frac{e^{F_k(x)}}{\sum_{l=1}^Ke^{F_l(x)}}$（softmax)
对损失函数求一阶导有：
$\large \tilde{y}_{ik}=-\left[\frac{\partial {L\left(\{y_{il},F_l(x)\}_{l=1}^K\right)}}{\partial {F_k(x_i)}}\right]_{\{F_l(x)=F_{l,m-1}(x)\}_1^K}=y_{ik}-p_{k,m-1}(x_i)$。
叶子节点的更新值为：
γjkm=K−1K∑xi∈Rjkmỹ