GBDT算法总结

关于GBDT的基本算法理论，见我前面一篇博客https://blog.csdn.net/weixin_41940752/article/details/96114516

1. 前向分布计算
   

2. 负梯度拟合
   不同的损失函数带表不同的优化目标，如指数损失、交叉熵、平方误差等，不同的损失函数代表了不同的优化目标。最常用的平方误差损失函数，其梯度即为残差。当换成其他损失函数时，残差不可用。
   
   GBDT的基学习器都是选用了CART回归树，即优化目标为平方误差，平方误差的负梯度即为残差。因此上式梯度提升算法，把负梯度作为残差近似值进行迭代，使损失函数不断减小。

3. 损失函数
   损失函数分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项(L0、L1（Lasso）、L2（Ridge）)。
   （1）0-1损失是指，预测值和目标值不相等为1，否则为0。该损失函数不考虑预测值和真实值的误差程度，也就是说只要预测错误，预测错误差一点和差很多是一样的。感知机就是用的这种损失函数（因为感知机是二分类模型，只有对错没有差异大小）ÿ