前向分步算法
考虑加法模型:
f
(
x
)
=
∑
i
=
1
M
β
i
b
(
x
;
γ
i
)
f(x)=\sum_{i=1}^{M}\beta_ib(x;\gamma_i)
f(x)=i=1∑Mβib(x;γi)
其中
b
(
x
;
γ
i
)
b(x;\gamma_i)
b(x;γi),
β
i
\beta_i
βi分别为基函数和基函数的系数。
在给定训练数据和损失函数
L
(
y
,
f
(
x
)
)
L(y,f(x))
L(y,f(x))的情况下,学习加法问题成为一个极小化问题:
(
β
m
,
γ
m
)
=
arg
β
,
γ
min
∑
i
=
1
N
L
(
y
i
,
f
m
−
1
(
x
)
+
β
b
(
x
;
γ
)
)
(\beta_m,\gamma_m)=\arg_{\beta,\gamma} \min \sum_{i=1}^{N} L(y_i, f_{m-1}(x)+\beta b(x;\gamma))
(βm,γm)=argβ,γmini=1∑NL(yi,fm−1(x)+βb(x;γ))
其中
f
m
−
1
(
x
)
=
∑
i
=
1
m
−
1
β
i
b
(
x
;
γ
i
)
f_{m-1}(x)=\sum_{i=1}^{m-1}\beta_i b(x;\gamma_i)
fm−1(x)=i=1∑m−1βib(x;γi)
##算法
Adaboost
令
y
∈
{
−
1
,
1
}
y\in\{-1,1\}
y∈{−1,1},选择指数损失函数:
L
(
y
,
f
(
x
)
)
=
e
x
p
(
−
y
f
(
x
)
)
L(y,f(x))=exp(-yf(x))
L(y,f(x))=exp(−yf(x))
同时规定所有的基函数满足
b
(
x
;
γ
)
∈
{
−
1
,
1
}
b(x;\gamma)\in\{-1,1\}
b(x;γ)∈{−1,1},利用前向分步算法,我们每一步需要极小化
\begin{align*}
(\beta_m,\gamma_m)&=\arg_{\beta,\gamma} \min L_m\
&=\arg_{\beta,\gamma} \min\sum_{i=1}^{n}exp(-y_i(f_{m-1}(x_i)+\beta b(x;\gamma)))\
&=\arg_{\beta,\gamma} \min \sum_{i=1}^{n}\overline{w}_{m,i}exp(-y_i\beta \cdot b(x;\gamma))
\end{align*}
其中
w
‾
m
,
i
=
e
x
p
(
−
y
i
f
m
−
1
(
x
i
)
)
\overline{w}_{m,i}=exp(-y_if_{m-1}(x_i))
wm,i=exp(−yifm−1(xi))与
γ
,
β
\gamma,\beta
γ,β均无关。
Gradient Boosting
在前向分步算法中,我们每一步迭代需要计算
(
β
m
,
γ
m
)
=
arg
β
,
γ
min
∑
i
=
1
N
L
(
y
i
,
f
m
(
x
)
)
(\beta_m,\gamma_m)=\arg_{\beta,\gamma} \min \sum_{i=1}^{N} L(y_i, f_{m}(x))
(βm,γm)=argβ,γmini=1∑NL(yi,fm(x))
其中
f
m
(
x
)
=
∑
j
=
1
m
β
j
b
(
x
;
γ
j
)
f_m(x)=\sum_{j=1}^{m}\beta_j b(x;\gamma_j)
fm(x)=j=1∑mβjb(x;γj)
现在我们换一种思路,上式可以写为:
L
′
(
f
m
(
x
1
)
,
f
m
(
x
2
)
,
⋯
 
,
f
m
(
x
N
)
)
=
∑
i
=
1
N
L
(
y
i
,
f
m
(
x
)
)
L^{\prime}(f_m(x_1),f_m(x_2),\cdots,f_m(x_N))=\sum_{i=1}^{N}L(y_i, f_{m}(x))
L′(fm(x1),fm(x2),⋯,fm(xN))=i=1∑NL(yi,fm(x))
此时损失函数可以看成是关于 ${f_{m}(x_i)} $的函数,这个时候就可以用梯度下降算法来求解:
\begin{align*}
&\frac{\partial{L^{\prime}(f_m(x_1),f_m(x_2),\cdots,f_m(x_N))}}{\partial{f_m(x_i)}}=\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}\
& f_{m+1}(x_i)=f_{m}(x_i)-\beta_{m+1}\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}
\end{align*}
这里的步长不是定值:
即每一步训练一个 b ( x : γ m ) b(x:\gamma_m) b(x:γm)来拟合当前损失函数的负梯度(伪残差)。
算法
对于回归任务,最常用的损失函数是L2测度,此时
刚好是模型的残差。
另外常用的损失函数还有 L1 测度和修正的Huber loss函数(L1测度存在不可导点)
- L1测度(绝对值损失函数):
- Huber 损失函数:
Gradient Tree Boosting
Gradient boosting 一般使用决策树(尤其是CART,Classification And Regression Tree)作为基础分类器。针对这种特殊情况,Friedman设计了一个修正的gradient boosting 算法。
在第m步,模型需要拟合一颗决策树$ b_{m}(x)$. 令 $J_m $是叶子数目,该决策树将输入空间分配到不相交的
J
m
J_m
Jm 个区域中: $R_{1m},\ldots,R_{J_{m}m} $,并把每一个区域中的输入预测为常数。利用示性函数,我们可以把决策树的输出写为:
b
m
(
x
)
=
∑
j
=
1
J
m
v
j
m
I
(
x
∈
R
j
m
)
b_m(x)=\sum_{j=1}^{J_m}v_{jm}\mathcal{I}(x\in R_{jm})
bm(x)=j=1∑JmvjmI(x∈Rjm)
其中
v
j
m
v_{jm}
vjm 是对应区域预测的值。
将该系数乘以某个值,并利用线性搜索方法使得损失函数最小化(不懂):
Friedman 提出可以针对每一个区域选出一个最好的乘子 \beta, 并且把这种方法称为 “Tree Boost”:
参数
XGBoost
机器学习算法中GBDT和XGBOOST的区别有哪些?(来源于知乎wepon的回答):
-
传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。
-
传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。
-
xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。
-
Shrinkage(缩减),相当于学习速率(xgboost中的eta)。xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(补充:传统GBDT的实现也有学习速率)
-
列抽样(column subsampling)。xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。
-
xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。xgboost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。
-
可并行的近似直方图算法。树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点
XGBoost参数