xgboost 解释

注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数项。xgboost利用泰勒展开三项，做一个近似，我们可以很清晰地看到，最终的目标函数只依赖于每个数据点的在误差函数上的一阶导数和二阶导数。

• 函数中的变量是$\hat{y} ^2$,将$f_t(x_i)$看成△x,所以原始就可以化成如下所示

• $g_i$由于是一次导，所以需要对L函数中的$\hat{y} ^2$求导

• $h_i$是对L函数中的$\hat{y} ^2$求二次导