机器学习算法-gbdt

GBDT（分类，回归（线性/非线性））

1.原理简介

2.原理：回归/分类

3.正则化

4.优缺点

 

1.原理简介：（gradient boosting decision tree）

（形式+迭代目标+拟合方法）

GBDT就是boosting框架+任意损失函数+CART回归树模型；他关注的是残差值，迭代目标是找到一个CART回归树模型的弱学习器，让损失函数最小（找决策树，让损失最小）；损失函数拟合方法：通过用损失函数的负梯度来拟合损失进而拟合一个CART回归树，将残差向梯度方向减小。

弱分类器要求：对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度

 

GBDT应用：搜索排序、点击率预估

实例

2.原理：回归/分类

回归

（1）原理：初始化弱学习器，T轮迭代，每轮都去拟合负梯度，得到强学习器

（2）损失函数（回归）

1）均方差：L(y,f(x))=(y−f(x))2

2）绝对损失：L(y,f(x))=|y−f(x)|

   对应负梯度误差：sign(yi−f