Gradient Boost回归实例化解析

本文通过文字方式记录YT StatQuest关于Gradient Boost的系列讲解，方便总结回顾视频内容。

理性前提为了解决策树和AdaBoost的相关内容。

Gradient Boost有广泛的解释方法，此为最常用而且比较好理解的一种。

多图预警

Gradient Boost特性 - 相对于AdaBoost

Gradient Boost同样可以生成基于先前树错误情况的森林，但是和AdaBoost不同的是，其产物为树而不是树桩，也就是抛弃了弱学习器。一般人们设置叶子数在8-32之间，在这我们取4仅作介绍。

特别注意：Gradient Boost生成的第一颗树只包含一个根节点，其值为连续性预测目标的平均值，此处仅为重量 71.2。

与AdaBoost相同，Gradient Boost会一直创建这些树直到达到要求创建的数目或者新增的树对模型没有提升为止。

Gradient Boost原理

关于Gradient Boost的解释可以分为常规解释和数学原理两部分，本文中将称常规解释呈为生成原理先行介绍，呈现算法流程，方便与之后的数学原理实现步骤进行一 一对应。

Gradient Boost生成原理

1. 以连续性目标的均值为第一颗树，仅包含此根节点。

2. 以根节点的值为基准，计算每个样本的Pseudo Residual，本文此后将简称其为Residual，因为目前Pseudo的作用就只是和Linear Regression的Residual做区别，$Residual=true-pred$
   

3. 依据特征和进行类似于决策树的构建过程，叶子为满足决策树条件的样本的Residual，如果一个叶子中包含了多个样本的Residual值，取均值，得到如下结果：
   

4. 获得每个样本的预测值并更新Residual 预 测 值 = 根 节 点 v a l u e