xgboost算法过程推导

xgboost是机器学习集成学习boosting系列算法中的一种。现在具体讲解一下xgboost算法过程推导。

一.xgboost

1.xgboost的原理

xgboost是构造一棵棵树来拟合残差。

1.1定义模型：

• 1.符号定义：
  
• 2.模型定义
  假设我们迭代T轮，意味着我们要生成T棵残差树:
  
  注意:
  • 1.其实一般来说，前面还要加上一个，但是作者在这里初始化的时候将设置为0，所以不用加了。
  • 2.ft(xi)表示的是第t棵残差树对xi的第t轮残差的预测值。
  • 3.每一轮残差)树的训练数据是什么呢？假如，yt表示t棵cart残差树的和，也就是最终预测值,y表示x的真实标签，那么第t+1棵树的训练数据就是（x,y-yt)
  • 4.F是残差树的函数空间。
  • 5.从函数的角度来说，每一个残差树类似一个分段函数。