提升树模型:
提升方法实际采用加法模型(即基函数的线形组合)与前向分步算法。以决策树为基函数的提升方法称为提升树。对分类问题决策树是二叉分类树。提升树模型可以表示为决策树的加法模型:fMx=m=1MT(x;θm),其中T(x;θm)表示决策树;θm为决策树的参数;M为树的个数。
提升树算法采用前向分步算法。首先确定初始提升树f0x=0,第m步的模型是fmx=fm-1x+T(x;θm),其中fm-1x为当前模型,通过经验风险极小化确定下一棵决策树的参数θm。
- 回归模型的提升树
假设采用平方误差损失函数时,