![96e19a86951e570bc88c3c9b2daab9ea.png](https://i-blog.csdnimg.cn/blog_migrate/5a62923f001266d5cc2bcb56c4217beb.jpeg)
梁云1991 撰写 | 公众号 Python与算法之美
suu转载| 专栏 机器学习的road
30分钟看懂xgboost的基本原理mp.weixin.qq.com![ca18e2cd3a2116b0b5d7183059cec28a.png](https://i-blog.csdnimg.cn/blog_migrate/cccd95bb67debe6563d4366aad9d4d06.jpeg)
一、XGBoost和GBDT
xgboost是一种集成学习算法,属于3类常用的集成方法(bagging,boosting,stacking)中的boosting算法类别。它是一个加法模型,基模型一般选择树模型,但也可以选择其它类型的模型如逻辑回归等。
xgboost属于梯度提升树(GBDT)模型这个范畴,GBDT的基本想法是让新的基模型(GBDT以CART分类回归树为基模型)去拟合前面模型的偏差,从而不断将加法模型的偏差降低。
相比于经典的GBDT,xgboost做了一些改进,从而在效果和性能上有明显的提升(划重点面试常考)。第一,GBDT将目标函数泰勒展开到一阶,而xgboost将目标函数泰勒展开到了二阶。保留了更多有关目标函数的信息,对提升效果有帮助。第二,GBDT是给新的基模型寻找新的拟合标签</