在网上搜所很多XGboost的相关文档，大多数介绍的是XGboost包的使用，对于一些理论性的知识介绍较少，本文集各家所长，并结合个人理解，对于Xgboost一些原理性问题给予解析。如有错误请大神多多指教。
XGboost特征重要性
XGboost 的特征重要性的计算方法主要有下面三种：
- 模型训练过程中特征点的分裂次数。一般是封装包的默认选项。
- 模型训练过程中，作为划分属性LOSS的平均降低量。
- 特征作为划分属性时，对样本的覆盖程度。
Xgboost 二阶泰来展开优势
根据网上所说，收敛速度加快，类似于SGD与牛顿法的关系。
个人理解有另一层优势，就是二阶泰来展开的精确度要高于一阶泰来展开。对于LOSS函数的表达更加精确。
XGboost 梯度提升
损失函数可以泰来展开成如下形式
L
(
y
,
y
^
+
f
t
(
x
)
)
=
L
(
y
,
y
^
)
+
∂
L
∂
y
^
f
t
(
x
)
+
1
2
∂
2
L
∂
y
^
f
t
2
(
x
)
+
O
(
f
t
3
(
x
)
)
L(y,\hat{y} + f_t(x)) = L(y, \hat{y}) + \frac{\partial L}{\partial \hat{y}}f_t(x) + \frac{1}{2}\frac{\partial^2 L}{\partial \hat{y}} f^2_t(x) + O(f^3_t(x))
L(y,y^+ft(x))=L(y,y^)+∂y^∂Lft(x)+21∂y^∂2Lft2(x)+O(ft3(x))
518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
