Gradiant Boosting Machine

  最近看了Friedman的关于梯度提升算法的论文，记录一下。

1 函数估计

  在机器学习领域，算法就是利用数据去估计一个函数或就是一个“预测学习”问题。用训练数据得到一个估计的F^*(x)，这个函数将x映射到y,然后我们通过最小化一个损失函数，求出我们想要的F(x)，即：

$$F^{*} = \arg \min_{F}E_{y,x}L(y,F(x)) = \arg\min_{F}E_{x}[E_{y}L(y,F(x))|x]\qquad(1)$$
而 $L(y,f(x))$包括军方误差 $(y-F)^{2}$，binomial log-likelihood(logic regression)等
常见的套路就是限定 $F(x)$是某个参数化的函数空间里的一个函数 $F(x;P)$， $\mathbf{P} = \{P1,P2\cdots\}$是一个有限集合，这里我们只考虑加法模型
$$F(\mathbf{x};\{\beta_{m},\mathbf{a}_{m}\}) = \sum_{m=1}^{M}\beta_{m}h(\mathbf{x};\mathbf{a}_{m}) \qquad (2)$$
公式（2）其实是很多算法的核心思想，如神经网络、支持向量机等，这里只讨论 $h(\mathbf{x};\mathbf{a}_{m})$是一个小的回归树。其中的参数包括分割变量、分割位置以及叶子节点的值。

1.1 数值优化

  通常，选择一个参数化的模型令

$$P^{*} = \arg\min_{\mathbf{P}^{}}\Phi(\mathbf{P}) \qquad (3)$$
这里 $\Phi(\mathbf{P)} = E_{x,y}L(y,F(x;\mathbf{P})) \qquad$(4)
最后我们求得的最优函数就是： $F^{*}(X) = F(x;\mathbf{P^{*}})$，也就是我们最终想要拟合出来的模型。数值优化的方法是用来求解(3)，而最终的参数P对应的结果可以表达成
$P^{*} = \sum_{m=0}^{M}p_{m}$的形式。

1.2 梯度下降

  梯度下降是最简单数值优化的方法之一，而对于（3）式来说，当前的梯度为

$\mathbf{g}_{m} = {g_{jm}} = {[\frac{\partial\Phi(\mathbf{P})}{\partial \ p_{j}}]_{\mathbf{p = p_{m-1}}}}$
其中
$\mathbf{P_{m-1}} = \sum_{i=0}^{m-1}\mathbf{p}_{i}$
令
$\mathbf{p}_{m} = -\rho_{m}\mathbf{g}_{m}$
而
$$\rho_{m} = \arg\min_{\rho}\Phi(\mathbf{P}_{m-1}-\rho\mathbf{g}_{m})\qquad(5)$$

用有限的数据来估计模型

按照式（1）则有
$\{{\beta_{m}, \mathbf{a}_{m}}_{1}^{M}\}= \arg\min\sum_{i=1}^{N}L(y_{i},\beta_{m}^{'}h(x_{i};a_{m}^{'}))\qquad(6)$ 在这种情况确实得到的是最优解，但是复杂度太高，很难求解。所以可以选择“贪心”算法。即对于 $m\ 1, 2\cdots,\ M$
$$(\beta_{m}, \mathbf{a}_{m}) = \arg\min_{\beta,a}\sum_{i=1}^{N}L(y_{i},F_{m-1}(x_{i})+\beta*h(x_{i};a))\qquad(7)$$
然后
$F_{m}(x) = F_{m-1}(x)+\beta_{m}*h(x_{i};a_{m}) \qquad(8)$
在机器学习中，函数 $h(x;a_{m})$被称为弱学习器或者基于学习器，而这个迭代的过程被称为“boosting”。给一定一个 $\mathbf{F}_{m-1}(x)$，我们就可以用之前所述的梯度下降法，来求解 $\beta$以及 $h(x;a)$.。给定特定的loss $L(y,F)$和 $h(x;a)$，式（7)的解式很难求的。给定一个 $F_{m-1}(x)$, $\beta_{m}h(x;a_{m})$可以被看成最佳的贪心算法，对 $F^{*}(x)$的估计。
  求出损失函数在每一个训练数据的梯度，得出一个N维的向量。
$$-g_{m}(xi_{i}) = - \{ \frac{\partial L(y_{i},F(x_{i}))}{\partial F(x_{i})}\}_{F(x) = F_{m-1}(x)}$$
但是这样求出来的梯度不能泛化的其他的数据上。一个方法是选择一个 $h(x;a_{m})$使得它求得的 $h_{m} = \{h(x_{i};a_{m})\}$尽可能的与 $-g_{m}$平行
$$\mathbf{a}_{m} = \arg\min\sum_{a,\beta}[-g_{m}(x_{i})-\beta h(x_{i};a)]^{2}$$
求出a参数向量之后，就可以求出另外一个参数
$$\beta_{m} = \arg\min\sum_{i=1}^{N}l(y_{i}, F_{m-1}(x_{i})+\beta h(x_{i};\mathbf{a}_{m}))$$
然后就可以更新
$F_{m}(x) = F_{m-1}(x) +\beta_{m}h(x;a_{m})$

伪代码如下：