GBDT模型

什么是gbdt？
利用损失函数的负梯度在当前模型的值

作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

残差与负梯度的关系
当损失函数为平方差损失函数时，残差和负梯度相等，当损失函数为一般损失函数时，负梯度不等于残差。

为什么要考虑一般损失函数？
因为平方差损失函数优点明显就是容易计算，缺点也很明显，它容易受到异常值的影响，对异常值敏感。容易造成过拟合。

梯度提升算法

（3）得到回归树

算法第一步初始化，估计使损失函数极小化的常数值，它是只有一个根节点的树。第二步：计算损失函数的负梯度在当前模型的值，将它作为残差的估计，估计回归树叶结点区域，以拟合残差的近似值，利用线性搜索估计叶结点区域的值，使损失函数极小化。更新回归树，最后输出得到的最终模型fhat(x).