task2-GBDT算法梳理

• 前向分布算法

从前想向后，每步只学习一个基函数及其系数，逐步逼近目标

• 负梯度拟合

大牛Freidman提出了用损失函数的负梯度来拟合本轮损失的近似值，进而拟合一个CART回归树。通过损失函数的负梯度来拟合，找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，我们通过其损失函数的负梯度的拟合，就可以用GBDT来解决我们的分类回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已。

参考：https://ask.hellobi.com/blog/guodongwei1991/10501

• 损失函数

​​​​​​​用来估量真实值和模型的预测值不一样程度

• 回归

​​​​​​​研究两个或多个变量之间的关系。

• 二分类，多分类

​​​​​​​二分类分类任务中只有两个类别，比如识别图中有无人脸

多分类任务总有多个类别，比如在识别一群动物的类别

• 正则化

​​​​​​​向模型中引入额外信息，以防止过拟合和提高模型泛化能力

• 优缺点

​​​​​​​优点：可以灵活处理各种类型的数据

缺点：难以进行并行训练数据

• sklearn参数

参看：https://www.itcodemonkey.com/article/4829.html

• 应用场景

可以用于回归问题