GBDT梯度提升树

一、GBDT 基本原理

0、GBDT利用的是CART回归树损失函数的一阶负梯度来近似模拟当前模型的真实值（实际上是上一轮模型预测值与真实值的残差），从而达
    到减小损失函数的目的。

1、GBDT基模型必须是CART回归树（无论是分类问题还是回归问题），而Adaboost基模型可以是多个类别，默认为CART决策树。
2、GBDT模型的根本目的：模型要求训练集样本的预测值与真实值的残差尽可能的小，多轮迭代预测值与真实值的残差为y值，直至
   达到迭代条件。
3、GBDT与Adaboost（前向分布式算法） 都属于加法模型，Adaboost预测结果是所有轮基模型按照子模型权重系数投票累加而
    成，GBDT预测结果是所有轮子模型预测结果累加而成的。
4、GBDT回归问题和分类问题的思想是一样的，都是利用损失函数负梯度的值来近似模拟当前子模型预测残差值，用残差值代替下
    一轮迭代子模型CART回归树训练集样本的y值。

https://blog.csdn.net/qq_24519677/article/details/82020863#commentBox       -------------  GBDT基本原理及算法描述

https://www.cnblogs.com/Libo-Master/p/7563221.html                     ------------  GBDT（梯度提升树） 原理小结

问题一：GBDT 梯度与每一轮迭代残差的关系？
问题二：Adaboost 分类问题 损失函数与计算每轮误差的方式？Adaboost 回归问题 损失函数与计算每轮误差的方式？
问题三：GBDT 分类问题的损失函数？ GBDT 回归问题的损失函数？
问题四：GBDT算法的优缺点？

总结：
    1、总体来说Adaboost不断更新两个权重，GBDT不断更新y值。
    2、GBDT回归分类思想是一样的，只是将回归问题损失函数由 均值平方和损失函数 替换为 指数损失函数与对数似然损失函
       数。

 二、GBDT API

• 参数：

• 属性与方法