本文深入分析了回归树算法，特别是Adaboost在分类问题中的应用及其在回归问题中的扩展。通过示例解析，解释了如何在训练数据集上寻找最优切分点来构建树桩。进一步探讨了GBDT（梯度提升树）的负梯度拟合原理，它利用损失函数的负梯度信息来优化加法模型。最后，详细介绍了GBDT回归树的输入、输出及学习过程。
1 回归树算法分析
Adaboost算法是提升树的特殊情况，主要用于分类问题，对于回归问题怎么处理呢？？
已知一个训练数据集 T={
(x1,y1),(x2,y2),...,(xN,yN)} ,假设输入空间为 χ ,如果将输入空间划分为J个互不相交的区域 R1,R2,...,RJ 并在每个区域上确定输出的常量 cj ，那么回归树可以表示为：
T(x;Θ)=∑j=1JcjI(x∈Rj)
其中，参数 Θ={ (R1,c1),(R2,c2),...,(RJ,cJ)} 表示树的区域划分和各区域上的常数，J是回归树的叶节点个数
所以回归算法模型可以表示成：
fM(x)=∑m=1MT(x;Θm)
在前向分布算法的第m步，给定当前模型 fm−1(x) ，优化目标为：
Θ̂ m=argminΘm∑i=1NL(yi,fm−1(xi)+T(xi;Θm))
损失函数-平方损失：
L(y,f(x))=(y−f(x))2=L(yi,
最低0.47元/天 解锁文章
3673
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
