从Gradient Descent（梯度下降） 到Gradient Boosting（梯度提升）
首先说明，中文看起来是反义，但实际上是两个东西，和Gradient Descent类似的那个叫Gradient Ascent（梯度上升）
梯度下降和牛顿法
优化中有两种常见的方法，梯度下降（GD）和牛顿法，可以分别认为是目标函数基于泰勒展开的一阶和二阶版本，简单说一下：
- 目标: a r g m i n x f ( x ) argmin_x f(x) argminxf(x) (以一元函数为例)（这里写 x x x，实际机器学习优化中是参数 w w w）
- 通用思路：找一个
方向Δ x \Delta x Δx，再找一个步长η \eta η， x ← x + η Δ x x \leftarrow x + \eta \Delta x x←x+ηΔx - 求方向的两种方法
- 梯度下降
一阶展开： f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) = f ( x 0 ) + f ′ ( x 0 ) Δ x f(x) \approx f(x_0) + f'(x_0)(x - x_0) = f(x_0) + f'(x_0)\Delta x f(x)≈f(x0)+f′(x0)(x−x0)=f(x0)+f′(x0)Δx
可以发现要达到min需要的 方向 Δ x = − f ′ ( x 0 ) \Delta x = -f'(x_0) Δx=−f′(x0) - 牛顿法
二阶展开： f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) Δ x + 1 2 f ′ ′ ( x 0 ) ( Δ x ) 2 f(x) \approx f(x_0) + f'(x_0)\Delta x + \frac{1}{2}f''(x_0)(\Delta x)^2 f(x)≈f(x0)+f′(x0)Δx+21f′′(x0)(Δx)2
二次函数优化可以得到 方向 Δ x = − f ′ ( x 0 ) f ′ ′ ( x 0 ) \Delta x = -\frac{f'(x_0)}{f''(x_0)} Δx=−f′′(x0)f′(x0)
- 步长可以通过line search进一步得到，但因为需要解另一个优化问题，比较麻烦，所以更常见的做法是人为指定一个
学习率（learning rate），具体的方法有很多，尤其在DL领域 - 最终收敛后，通过前面一系列的迭代， x ∗ = x 0 + ∑ k = 1 M η k Δ x k x^* = x_0 + \sum_{k=1}^{M}\eta_k \Delta x_k x∗=x0+∑k=1MηkΔxk，其中 M M M为迭代次数， x 0 x_0 x0是初始值
加法模型
上面提到的函数优化方法 是在已知函数的具体形式，如
f
(
w
)
=
w
T
x
f(w) = w^Tx
f(w)=wTx时，
那么如果函数的具体形式未知，怎么办呢？
-
假设我们学习的目标 y = F ( x ) y=F(x) y=F(x)，其中 F ( x ) F(x) F(x)的具体形式未知，损失函数为 L ( x , F ( x ) ) L(x,F(x)) L(x,F(x))，我们把损失函数“脱离” x x x来看一下，即 L ( F ) L(F) L(F)，这时损失函数就是 F F F的函数了，而F假设是一个函数的函数（这时优化问题就变成了一个泛函求极值的问题，需要用变分？（我也不懂我在说什么））
-
套用上面的思路，我们认为函数是一类特殊的变量（类似求导的链式法则中，中间变量其实都是函数值），那么方法就是（仿上面的写法）：
- 目标: a r g m i n F L ( F ) argmin_F L(F) argminFL(F)
- 思路：找一个
方向f f f（也是一个函数，可以认为是函数F的变量），再找一个步长η \eta η， F ← F + η f F \leftarrow F + \eta f F←F+ηf- 最终收敛后，
F
F
F也可以写为一系列函数之和，即
F
∗
(
x
)
=
f
0
(
x
)
+
∑
k
=
1
M
η
k
f
k
(
x
)
F^*(x) = f_0(x) + \sum_{k=1}^{M}\eta_k f_k(x)
F∗(x)=f0(x)+∑k=1Mηkfk(x)，其中
M
M
M为迭代次数，
f
0
f_0
f0是初始值，我们称这种形式为
加法模型(additive model) - f f f的形式可以是任意已知的模型，如：决策/回归树，逻辑回归等
- 这里的每一步方向都是一个函数，这种思路称之为
boosting，每一个 f f f称之为base/weak learner，下面我们看gradient是怎么回事
- 最终收敛后，
F
F
F也可以写为一系列函数之和，即
F
∗
(
x
)
=
f
0
(
x
)
+
∑
k
=
1
M
η
k
f
k
(
x
)
F^*(x) = f_0(x) + \sum_{k=1}^{M}\eta_k f_k(x)
F∗(x)=f0(x)+∑k=1Mηkfk(x)，其中
M
M
M为迭代次数，
f
0
f_0
f0是初始值，我们称这种形式为
- 求方向的两种方法
- 梯度下降
一阶展开： L ( F ) ≈ L ( F m − 1 ) + ( ∂ L ( F ) ∂ F ∣ F = F m − 1 ) f m L(F) \approx L(F_{m-1}) + (\left. \frac{\partial L(F)}{\partial F}\right|_{F=F_{m-1}}) f_m L(F)≈L(Fm−1)+(∂F∂L(F)∣∣∣F=Fm−1)fm
此时方向就是负导数 − L ′ = − ∂ L ( F ) ∂ F ∣ F = F m − 1 -L' = - \left. \frac{\partial L(F)}{\partial F}\right|_{F=F_{m-1}} −L′=−∂F∂L(F)∣∣∣F=Fm−1
其中， F m − 1 = f 0 ( x ) + ∑ k = 1 m − 1 η k f k ( x ) F_{m-1} = f_0(x) + \sum_{k=1}^{m-1}\eta_k f_k(x) Fm−1=f0(x)+∑k=1m−1ηkfk(x) - 牛顿法
二阶展开： L ( F ) ≈ L ( F m − 1 ) + L ′ ∣ F = F m − 1 f m + 1 2 L ′ ′ ∣ F = F m − 1 f m 2 L(F) \approx L(F_{m-1}) +L'|_{F=F_{m-1}} f_m + \frac{1}{2}L''|_{F=F_{m-1}} f_m^2 L(F)≈L(Fm−1)+L′∣F=Fm−1fm+21L′′∣F=Fm−1fm2
可得 方向是 − F ’ F ′ ′ ∣ F = F m − 1 -\frac{F’}{F''}|_{F=F_{m-1}} −F′′F’∣F=Fm−1
- 其中的梯度
L
′
=
∂
L
(
F
)
∂
F
L' = \frac{\partial L(F)}{\partial F}
L′=∂F∂L(F)是什么呢？
- 这里我们把 F F F看做一般的变量（当做 x x x看）
- 例如，当损失函数
L
L
L是平方误差时，
L
=
1
2
(
y
−
F
)
2
→
−
L
′
=
y
−
F
L= \frac{1}{2}(y-F)^2 \rightarrow -L'= y-F
L=21(y−F)2→−L′=y−F
- 这里就解释了为什么很多地方都说GB是在***拟合残差***，因为在损失函数为平方误差这种特殊情况下，残差和梯度 − L ′ -L' −L′是一样的，即 − L ′ ∣ F = F m − 1 = y − F m − 1 ( x ) -L'|_{F=F_{m-1}} = y - F_{m-1}(x) −L′∣F=Fm−1=y−Fm−1(x)
- 当损失函数是其他形式时，如：Logistic loss, Huber loss，方法也是如此，只用求个导，再把当前拟合的 F m − 1 ( x ) F_{m-1}(x) Fm−1(x)代进去就好了
- 二阶导也是这么算
- 刚才我们计算的都是
L
′
(
F
(
x
t
r
a
i
n
)
)
L'(F(x_{train}))
L′(F(xtrain))或者
L
′
′
(
F
(
x
t
r
a
i
n
)
)
L''(F(x_{train}))
L′′(F(xtrain))，其中
x
t
r
a
i
n
x_{train}
xtrain是训练集中的值，是有限集，而我们真正要求的是
f
k
(
x
)
f_k(x)
fk(x)这个函数的形式
- 那么，套用supervised learning的思路， y t r a i n y_{train} ytrain就是刚才求的方向，如： − F ’ F ′ ′ ∣ F = F m − 1 ( x t r a i n ) -\frac{F’}{F''}|_{F=F_{m-1}(x_{train})} −F′′F’∣F=Fm−1(xtrain)（可以叫这个pseudo y: y ~ \tilde{y} y~）
- 之后，就可以利用我们知道的各种有监督学习的方法来拟合，如：回归，决策树等
- 步长依然通过line search或设定学习率得到
-
以上就完成了从gradient descent到gradient boosting的转变，核心变化是优化的变量从 x x x变成了 F ( x ) F(x) F(x)（boosting），要求的梯度从 f ′ ( x ) f'(x) f′(x)变成了 F ′ ∣ F m − 1 F'|_{F_{m-1}} F′∣Fm−1(gradient，而且是个函数，需要拟合)
-
这类方法叫做
Gradient Boosting Machine(GBM)，当上面提到的方向函数是决策/回归树时，就是Gradient Boosting Decisison/Regression Tree(GBDT)了 -
原始的GBM paper[1] 中，只用到了一阶信息，在XGBoost和LightGBM中，都用到了二阶的信息来加快收敛，并且加入了正则项减少过拟合，同时优化了树模型的构建
-
附GBM的一阶方法的思路（from [1]）
其中，第4行拟合 f k ( x ) f_k(x) fk(x)时用了均方误差，第5行是line search
LightGBM和XGBoost 区别
| lightgbm | xgboost | |
|---|---|---|
| 数据排序分组方式 | histogram-based 1. 构建时遍历 O(#data)分桶，使用时O(#bin) 2. 离散化减小内存消耗和并行时通信消耗 | pre-sort-based 1. 始终是 O(#data)（看参数也有基于直方图的，但是paper没有仔细说明，而且应该是只在split时才会构建，开销并未减少？） |
| Tree growth | Leaf-wise (best-first): 1. lower loss 2. 可能overfit，所以加max depth参数 | Level-wise: |
| Categorical特征 | 支持 | 不支持，要先做onehot encoding |
Reference
- J. Friedman. Greedy function approximation: a gradient
boosting machine. 2001
2394
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
