1 回归树算法分析
Adaboost算法是提升树的特殊情况,主要用于分类问题,对于回归问题怎么处理呢??
已知一个训练数据集 T={
(x1,y1),(x2,y2),...,(xN,yN)} ,假设输入空间为 χ ,如果将输入空间划分为J个互不相交的区域 R1,R2,...,RJ 并在每个区域上确定输出的常量 cj ,那么回归树可以表示为:
T(x;Θ)=∑j=1JcjI(x∈Rj)
其中,参数 Θ={ (R1,c1),(R2,c2),...,(RJ,cJ)} 表示树的区域划分和各区域上的常数,J是回归树的叶节点个数
所以回归算法模型可以表示成:
fM(x)=∑m=1MT(x;Θm)
在前向分布算法的第m步,给定当前模型 fm−1(x) ,优化目标为:
Θ̂ m=argminΘm∑i=1NL(yi,fm−1(xi)+T(xi;Θm))
损失函数-平方损失:
L(y,f(x))=(y−f(x))2=L(yi,