XGBoost是一种基于梯度提升的机器学习算法，通过构建和优化CART树来实现预测。它通过加法训练逐步优化目标函数，利用CART树的特性进行高效优化。模型正则化项通过γ和λ控制树的复杂度，以防止过拟合。通过计算增益（Gain）来决定树的切分点，同时考虑γ阈值以控制切分的有效性。XGBoost支持自定义损失函数并能并行计算，因此在许多竞赛中表现出色。
什么是XGbbost
XGBoost是Extreme Gradient Boosting的简称，对应的模型就是一堆CART树，思想是将每棵树的预测值加到一起作为最终的预测值(可谓简单粗暴)。
下图就是CART树和一堆CART树的示例，用来判断一个人是否会喜欢计算机游戏：
图二说明了如何用一堆CART树做预测，就是简单将各个树的预测分数进行相加。
注：gboost为什么使用CART树而不是用普通的决策树呢？
简单讲，对于分类问题，由于CART树的叶子节点对应的值是一个实际的分数，而非一个确定的类别，这将有利于实现高效的优化算法。
XGboost的数学模型
y^=∑k=1Kfk
最低0.47元/天 解锁文章
扫一扫
417
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
