GBDT

以CART回归树为基学习器，迭代学的得到强学习器。与传统Adaboost相比，增加了损失函数，每轮迭代的目的就是找到一颗决策树使本轮损失函数最小化，用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个回归树出来。

可用于回归和分类问题。回归问题一般损失函数用均方差损失，分类问题一般用指数损失函数和对数损失函数，分为二元分类和多元分类问题。区别就在与负梯度的计算和叶子节点的残差拟合（这两个和损失函数的选择有关系）。

与Adaboost区别：不同于Adaboost只对正确和错误的样本进行加权，GBDT会定义一个损失函数，每次生成的分类器都是沿着前面的分类器的负梯度方向（一阶导数）建立起的。