本文深入探讨了XGBoost的核心原理，包括目标函数的二阶泰勒展开、正则项定义、决策树结构以及XGBoost与GBDT的区别。通过引入二阶导数信息和正则项，XGBoost有效地防止过拟合，提高模型泛化能力。同时，XGBoost的优化算法和并行计算特性使其在效率和性能上超越传统GBDT。
上一篇博文提到XGBoost是GBDT的扩展和改进，在GBDT中只用了一阶导信息，XGBoost中考虑了二阶导信息，对Loss Function做了二阶泰勒展开，并在目标函数上加入了正则项，用以权衡目标函数的下降和模型的复杂度，避免过拟合。
1、目标函数
J ( f t ) = ∑ i = 1 n L ( y i , y ^ i ( t − 1 ) + f t ( x i ) ) + Ω ( f t ) + C （ 式 1 ） J(f_{t})=\sum_{i=1}^{n}L(y_{i},\hat{y}_{i}^{(t-1)}+f_{t}(x_{i}))+\Omega (f_{t})+C （式1） J(ft)=i=1∑nL(yi,y^i(t−1)+ft(xi))+Ω(ft)+
最低0.47元/天 解锁文章
扫一扫
2157
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
