深入理解GBDT多分类算法

• 我的个人微信公众号： Microstrong
• 微信公众号ID： MicrostrongAI
• 微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！
• 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities
• Github： https://github.com/Microstrong0305
• 个人博客： https://blog.csdn.net/program_developer
• 本文首发在我的微信公众号里，地址：https://mp.weixin.qq.com/s/-UmOhpktgRaOF7tT2-5nsQ，如有公式和图片不清楚，可以在我的微信公众号里阅读。

目录：

1. GBDT多分类算法
   1.1 Softmax回归的对数损失函数
   1.2 GBDT多分类原理
2. GBDT多分类算法实例
3. 手撕GBDT多分类算法
   3.1 用Python3实现GBDT多分类算法
   3.2 用sklearn实现GBDT多分类算法
4. 总结
5. Reference

本文的主要内容概览：

1. GBDT多分类算法

1.1 Softmax回归的对数损失函数

当使用逻辑回归处理多标签的分类问题时，如果一个样本只对应于一个标签，我们可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归（Softmax Regression）来进行分类：
$$\begin{array}{rl}P(Y=y_i|x)& =h_{\theta }(x)\left[\begin{array}{c}P(Y=1|x;\theta )\\ P(Y=2|x;\theta )\\ .\\ .\\ .\\ P(Y=k|x;\theta )\end{array}\right]\\ & =\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}\left[\begin{array}{c}{e}^{{\theta }_1^{T}x}\\ e^{{\theta }_2^{T}x}\\ .\\ .\\ .\\ e^{{\theta }_k^{T}x}\end{array}\right]\end{array}$$
其中， ${\theta }_1,{\theta }_2,...,{\theta }_k\in {\Re }^n$ 为模型的参数，而 $\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}$ 可以看作是对概率的归一化。一般来说，多项逻辑回归具有参数冗余的特点，即将 ${\theta }_1,{\theta }_2,...,{\theta }_k$ 同时加减一个向量后预测结果不变，因为 $P(Y=1|x)+P(Y=2|x)+...+P(Y=k|x)=1$ ，所以 $P(Y=1|x)=1-P(Y=2|x)-...-P(Y=k|x)$ 。

假设从参数向量 ${\theta }_j^T$ 中减去向量 $\psi$ ，这时每一个${\theta }_j^T$都变成了${\theta }_j^T-\psi (j=1,2,...,k)$。此时假设函数变成了以下公式：
$$\begin{array}{rl}P(Y=y_j|x;\theta )& =\frac{e^{{\theta }_j^{T}x}}{{\sum }_{i=1}^k{e}^{{\theta }_i^{T}x}}\\ & =\frac{e^{({\theta }_j^T-\psi )x}}{{\sum }_{i=1}^k{e}^{({\theta }_i^T-\psi )x}}\\ & =\frac{e^{{\theta }_j^{T}x}\times e^{-\psi x}}{{\sum }_{i=1}^k{e}^{{\theta }_i^{T}x}\times e^{-\psi x}}\\ & =\frac{e^{{\theta }_j^T}}{{\sum }_{i=1}^k{e}^{{\theta }_i^{T}x}}\end{array}$$