经典论文阅读（2）——XGBoost

最新推荐文章于 2023-03-01 22:53:29 发布

fmf1287

最新推荐文章于 2023-03-01 22:53:29 发布

阅读量1.3k

点赞数

分类专栏：经典论文文章标签：机器学习深度学习算法

本文链接：https://blog.csdn.net/fmf1287/article/details/121339055

版权

经典论文专栏收录该内容

10 篇文章 2 订阅

订阅专栏

xgboost是基于梯度提升的树，公式如下：

$\hat{y_i} = \phi{x_i} = \sum_{k=1}^Kf_k(x_i)$

其中 $f_k$ 为CART回归树，每个叶子都有一个连续分数，拟合最终目标的loss函数如下， $\widetilde{y_i}$ 为预测值， $y_i$ 为真实值，T为叶子节点个数， $||w||^2$ 为叶子节点权重平方和。
$L(\phi) = \sum_{i}l(\hat{y_i},y_i) + \sum_{k}(\Omega_{f_k})$

其中 $\Omega(f)=\lambda T+\frac{1}{2}\lambda||w||^2$

将loss进行泰勒公式展开，可以得到：

$L^{(t)} = \sum_{i=1}^nl(y_i,\hat{y_i}^{(t-1)}+f_t(x_i))+\Omega(f_t)\\ \simeq \sum_{i=1}^n[l(y_i,\hat{y}^{(t-1)})+g_if_t(x_i)+\frac{1}{2}h_if^2_t(x_i)]+\Omega(f_t)\\ \simeq \sum_{i=1}^n[g_if_t(x_i)+\frac{1}{2}h_if^2_t(x_i)]+\Omega(f_t)\\ = \sum_{i=1}^n[g_if_t(x_i)+\frac{1}{2}h_if^2_t(x_i)]+\gamma T+\frac{1}{2}\lambda\sum_{j=1}^Tw^2_j\\ = \sum_{j=1}^T[(\sum_{i \in I_j}g_iw_j+\frac{1}{2}(\sum_{i \in I_j}h_i+\lambda)w_j^2]+\gamma T\\ = \sum_{j=1}^T[(Gw_j+\frac{1}{2}(H+\lambda)w_j^2]+\gamma T$

最终得到每个叶子节点的权重为 $w_j^*=-\frac{G}{H+\lambda}$ ，而对应第t棵树的loss为 $L^{(t)}(q)=-\frac{1}{2}\sum_{j=1}^T\frac{G}{H+\lambda}+\lambda T$ ，其中G为所有样本在该叶子节点的loss的一阶导数之和，H为所有样本在该叶子节点的loss的二阶导数之和。

通常采用遍历得到树的结构，每次分裂的loss reduction： $Gain = L_{split} = \frac{1}{2}[\frac{G_{I_L}^2}{H_{I_L}^2+\lambda}+\frac{G_{I_R}^2}{H_{I_R}^2+\lambda}-\frac{G_{I}^2}{H_{I}^2+\lambda}]-\gamma$