关于GBDT的基本算法理论,见我前面一篇博客https://blog.csdn.net/weixin_41940752/article/details/96114516
-
前向分布计算
-
负梯度拟合
不同的损失函数带表不同的优化目标,如指数损失、交叉熵、平方误差等,不同的损失函数代表了不同的优化目标。最常用的平方误差损失函数,其梯度即为残差。当换成其他损失函数时,残差不可用。
GBDT的基学习器都是选用了CART回归树,即优化目标为平方误差,平方误差的负梯度即为残差。因此上式梯度提升算法,把负梯度作为残差近似值进行迭代,使损失函数不断减小。 -
损失函数
损失函数分为经验风险损失函数和结构风险损失函数,经验风险损失函数反映的是预测结果和实际结果之间的差别,结构风险损失函数则是经验风险损失函数加上正则项(L0、L1(Lasso)、L2(Ridge))。
(1)0-1损失是指,预测值和目标值不相等为1,否则为0。该损失函数不考虑预测值和真实值的误差程度,也就是说只要预测错误,预测错误差一点和差很多是一样的。感知机就是用的这种损失函数(因为感知机是二分类模型,只有对错没有差异大小)ÿ