学习任务:
前向分步算法
负梯度拟合
损失函数
回归
二分类,多分类
正则化
优缺点
sklearn参数
应用场景
前言
提升(Boosting)方法是集成学习方法的一种,在分类问题中,它通过改变训练样本的权重,学习多个分类器,将弱分类器组装成一个强分类器,提高分类的性能。其最具代表性的是AdaBoost算法。
提升方法实际采用加法模型(即基函数的线性组合)与前向分步算法。提升树(Boosting Tree)是以决策树为基函数的提升方法。对分类问题决策树是二叉分类树,对回归问题决策树是二叉回归树。
提升树模型可以表示为决策树的加法模型:
其中T(x;Θm)表示决策树;Θm表示决策树的参数;M为树的个数。
不同问题的提升树学习算法,其主要区别在于损失函数不同。
- 平方损失函数常用于回归问题,
- 指数损失函数用于分类问题,
- 一般损失函数用一般于决策问题。
GBDT有很多简称,有GBT(Gradient Boosting Tree) GTB(Gradient Tree Boosting ) GBRT(Gradient Boosting Regression Tree) MART(Multiple Additive Regression Tree) 其实都是一种算法。
GBDT也是使用的前向分步算法和加法模型