【机器学习】基于GBDT的数据回归及python实现

本博文中GBDT（Gradient Boosting Decison Tree，梯度提升决策树）的决策树采用CART（Classification and Regression Tree，分类回归树）。CART主要参考 《python机器学习算法》，在这里就不赘述了，有需要的同学可以看大神的书。本博文首先介绍集成学习中的Boosting技术，然后介绍GBDT的原理及应用，在GBDT的应用部分重点介绍基于GBDT的数据回归技术，并顺便提及基于GBDT的数据分类思想（只需对回归做一点小的改进即可）。

一、Boosting技术

在面对一个复杂的问题时，我们可以训练多个模型，将这些模型的结果集成起来作为最终的结果，这种处理问题的思想被称为集成学习（参考资料【2】），集成学习分为两类：Bagging和Boosting。Bagging技术是指在样本中有放回的随机抽取几组样本数据，用这几组样本数据训练几个模型，最终由这几个模型投票决定分类结果或取均值得到回归结果，随机森林（参考资料【3】）就是一个典型的Bagging模型。Boosting技术同样是训练多个弱性能模型，但不同于Bagging技术中弱性能模型是并行且独立训练的，在Boosting中多个弱性能模型是串行的。Boosting对样本进行不同的赋值，对错误学习的样本的权重设置的较大，在后续的学习中集中处理难学的样本，最终得到一系列的预测结果，每个预测结果有一个权重。

二、GBDT原理与应用

2.1、GBDT思想

GBDT由两部分组成，分别是GB（Gradient Boosting）和DT（Decison Tree）。博文开头已经说明，DT采用CART的回归树。GB指的是沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器（参考资料【4】）。

2.2、基于GBDT的数据回归

假设总共有$m$个串行CART回归树模型，每个CART模型单独拿出来的预测结果为：

f i ( X ) , { i = 1 , 2 , ⋯   , m } {f_i}\left( X \right),\left\{ {i = 1,2, \cdots ,m} \right\} fi​(X),{ i=1,2,⋯,m}

前$i$个模型串行在一起的预测结果为：

F i ( X ) , { i = 1 , 2 , ⋯   , m } {F_i}\left( X \right),\left\{ {i = 1,2, \cdots ,m} \right\} Fi​(X),{ i=1,2,⋯,m}

其中$F_i\left(X\right)=F_{i-1}\left(X\right)+f_i\left(X\right)$

假设样本标签为Y，前$i-1$个模型串行的预测输出与标签真实值之间的损失函数为：

L o s s ( Y , F i − 1 ( X ) ) = 1 N ∑ j = 1 N ( y j − F i −