本文详细介绍了XGBoost与GBDT的关系、XGBoost的原理，包括目标函数、优化算法和二叉树生成过程。文章强调了XGBoost在目标函数展开、正则化、处理缺失值等方面的改进，并探讨了特征选择和分裂点位的策略。通过理解这些概念，读者可以更好地掌握XGBoost的工作机制。
梁云1991 撰写 | 公众号 Python与算法之美
suu转载| 专栏 机器学习的road
30分钟看懂xgboost的基本原理mp.weixin.qq.com
一、XGBoost和GBDT
xgboost是一种集成学习算法，属于3类常用的集成方法(bagging,boosting,stacking)中的boosting算法类别。它是一个加法模型，基模型一般选择树模型，但也可以选择其它类型的模型如逻辑回归等。
xgboost属于梯度提升树(GBDT)模型这个范畴，GBDT的基本想法是让新的基模型（GBDT以CART分类回归树为基模型）去拟合前面模型的偏差，从而不断将加法模型的偏差降低。
相比于经典的GBDT，xgboost做了一些改进，从而在效果和性能上有明显的提升（划重点面试常考）。第一，GBDT将目标函数泰勒展开到一阶，而xgboost将目标函数泰勒展开到了二阶。保留了更多有关目标函数的信息，对提升效果有帮助。第二，GBDT是给新的基模型寻找新的拟合标签</
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
