高级算法（2）

写在前面：
由于时间原因这次就是按照助教给的框架来写的，并不是完全按照自己的理解来的，后期有时间可能会按照自己的框架重新梳理一遍 GBDT。

一. 前向分布算法

从前向后，每一步只学习一个基函数及其系数，逐步逼近上式，即：每步只优化如下损失函数：

算法流程：

• 输入：训练数据集
  
• 损失函数：
  
• 基函数集：
  
• 输出：加法模型 f（x）

算法步骤:

• 初始化f0(x）
• 对于m=1，2…，M
• a）极小化损失函数
  
  得到参数
• b）更新
  

前向分步算法将同时求解从m=1到M的所有参数的优化问题简化为逐次求解各个参数（1≤m≤M）的优化问题。

二. 负梯度拟合

利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值，拟合一个回归树（用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树）。第t轮的第i个样本的损失函数的负梯度表示为：


通过损失函数的负梯度来拟合，我们找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用 GBDT 来解决我们的分类回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已。

三.损失函数

3.1 分类算法

• 指数损失函数
  
• 对数损失函数

• 二元GBDT，如果用类似于逻辑回归的对数似然损失函数，则损失函数为:L(y,f(x))=log(1+exp(−yf(x)))
• 多元分类，假设类别数为K，则此时我们的对数似然损失函数为
  

3.2 回归算法

• 平方损失函数
  
• 绝对损失函数
  
• Huber损失,它是均方差和绝对损失的折衷产物，对于远离中心的异常点，采用绝对损失，而中心附近的点采用均方差。这个界限一般用分位数点度量。损失函数如下
  

四. 回归

输入是训练集样本T={(x,y1),(x2,y2),…(xm,ym)}T={(x,y1),(x2,y2),…(xm,ym)}， 最大迭代次数T, 损失函数L。输出是强学习器f(x)

1. 初始化弱学习器

2. 对迭代轮数t=1,2,…T有：

   a)对样本i=1,2，…m，计算负梯度

   b)利用(xi,rti)(i=1,2,…m)(xi,rti)(i=1,2,…m), 拟合一颗CART回归树,得到第t颗回归树，其对应的叶子节点区域为Rtj,j=1,2,…,JRtj,j=1,2,…,J。其中J为回归树t的叶子节点的个数。

   c) 对叶子区域j =1,2,…J,计算最佳拟合值

   d) 更新强学习器

3. 得到强学习器f(x)的表达式

五. 二分类，多分类

这里我们再看看GBDT分类算法，GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。

为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。

六. 正则化

• 和Adaboost类似的正则化项，即步长(learning rate)。定义为ν,对于前面的弱学习器的迭代: fk(x)=fk−1(x)+hk(x)
  如果我们加上了正则化项，则有fk(x)=fk−1(x)+νhk(x)，ν的取值范围为0<ν≤1。对于同样的训练集学习效果，较小的ν意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。
• 通过子采样比例（subsample）。取值为(0,1]。注意这里的子采样和随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间。使用了子采样的GBDT有时也称作随机梯度提升树(Stochastic Gradient Boosting Tree, SGBT)。由于使用了子采样，程序可以通过采样分发到不同的任务去做boosting的迭代过程，最后形成新树，从而减少弱学习器难以并行学习的弱点
• 对于弱学习器即CART回归树进行正则化剪枝

七. 优缺点

7.1　优点

• 可以灵活处理各种类型的数据，包括连续值和离散值。

• 在相对少的调参时间情况下，预测的准确率也可以比较高。这个是相对SVM来说的。

• 使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。

7.2 缺点

• 由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

八.应用场景

GBDT几乎可用于所有回归问题（线性/非线性），亦可用于二分类问题和多分类问题