本文深入探讨了XGBoost的优化目标，包括训练损失与正则化项，介绍了加法训练策略以及如何通过二阶泰勒展开简化目标函数。此外，文章还讨论了模型复杂度，特别是结构得分，以及树结构的选择和优化，如选择分裂增益最大的节点。XGBoost的优势在于能有效平衡偏差与方差，同时对缺失值处理友好。
Objective Function： Training1 Loss + Regularization
目标函数分为Training Loss和Regularization term两项。
通常损失函数L的选择是mean square error函数：
在用于Logistic Regression时，会使用Logistic Loss：
正则项常常是用来控制模型复杂度的。用来保证bias-variance tradeoff。
bias 度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
variance度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力.
high bias low variance是欠拟合； low bias high variance是过拟合.
目标函数可以优化为：
最低0.47元/天 解锁文章
扫一扫
7万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
