XGBoost原理介绍

先整理一下非常好的几个参考资料：

• 原作者论文
• 优秀博主
• 知乎参考
• 博客园
  以下为整理资料

1. 算法简介

XGBoost是一种决策树模型，利用梯度下降来对树进行求解，他的与众不同之处在于使用了二阶泰勒展开以及正则化来对普通的梯提升树（GBDT）进行优化。

（引用自第二个参考资料）

对这个模型的目标函数是每个样的的损失函数值的和加上正则项就是整个目标函数，目标函数的返回值越小，则模型表现越好。