Xgboost是一种基于梯度提升的机器学习算法，通过迭代构建回归树来逐步优化损失函数。本文介绍了如何利用泰勒展开进行二阶近似，寻找能够降低损失函数的增量Δyi，并通过构建新的树模型tree_delta(xi)来拟合这个增量，从而逐步提升模型性能。通过重复这一过程，最终形成强大的集成模型tree(t)。
xgboost是回归树的集成，关于回归树可以参考之前写的最小二乘回归树：
https://blog.csdn.net/u013648367/article/details/73194537
通常情况下, 机器学习的目标任务是最小化损失函数. 损失函数通常会有如下的形式:
loss=∑il(yi^,yi)+Regularization l o s s = ∑ i l ( y i ^ , y i ) + R e g u l a r i z a t i o n
为了突出重点, 这里不考虑正则化项, 一开始我们会通过损失函数训练得到一棵回归树, 这样对于每一个样本 x⃗ i x → i 的输入都会有一个模型输出 y^i y ^ i , 即 tree(0)(xi)=y^i t r e e ( 0 ) ( x i ) = y ^ i . 问题在于一开始我们的损失函数不会太小, 我们希望损失函数能够进一步下降, 如果能找到一个 Δyi Δ y i , 使得 l(yi^+Δyi,yi)<l(yi^,yi) l ( y i ^ + Δ y i , y i ) < l ( y i ^ , y i ) 就好了.
假如我们并不知道损失函数 l
最低0.47元/天 解锁文章
扫一扫
1483
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
