机器学习面试必知：拟牛顿法（DFP和BFGS）

牛顿法的特点就是收敛快。但是运用牛顿法需要计算二阶偏导数，而且目标函数的Hesse矩阵可能非正定。为了克服牛顿法的缺点，人们提出了拟牛顿法，它的基本思想是用不包含二阶导数的矩阵近似牛顿法中的Hesse矩阵的逆矩阵。

牛顿法的迭代公式
$$x^{(k+1)}=x^{(k)}+\lambda d^{(k)}$$$$d^{(k)}=-{▽}^{2}f(x^{(k)}{)}^{-1}▽f(x^{(k)})$$

为了构造${▽}^{2}f(x^{(k)}{)}^{-1}$的近似矩阵$H_k$,我们先来分析${▽}^{2}f(x^{(k)}{)}^{-1}$与一阶导数的关系。将$f(x)$在点$x^{(k+1)}$展开成泰勒级数$$f(x)=f(x^{(k+1)})+▽f(x^{(k+1)}{)}^T(x-x^{(k+1)})$$$$+\frac{1}{2}(x-x^{(k+1)}{)}^T{▽}^{2}f(x^{(k+1)})(x-x^{(k+1)})$$由此可知，在$x^{(k+1)}$附近有$$▽f(x)\approx ▽f(x^{(k+1)})+{▽}^{2}f(x^{(k+1)})(x-x^{(k+1)})$$令$x=x^{(k)}$则$$▽f(x^{(k)})\approx ▽f(x^{(k+1)})+{▽}^{2}f(x^{(k+1)})(x^{(k)}-x^{(k+1)})$$记$$p^{(k)}=x^{(k+1)}-x^{(k)}$$$$q^{(k)}=▽f(x^{(k+1)})-▽f(x^{(k)})$$$$q^{(k)}\approx {▽}^{2}f(x^{(k+1)})p^{(k)}$$如果Hesse矩阵${▽}^{2}f(x^{(k+1)})$可逆则$$p^{(k)}\approx {▽}^{2}f(x^{(k+1)}{)}^{-1}{q}^{(k)}$$这样计算出p和q后根据上式就能估计Hesse矩阵的逆。因此我们可以用不包含二阶导数的矩阵$H_{k+1}$取代Hesse矩阵的逆$$p^{(k)}=H_{k+1}{q}^{(k)}$$这就是拟牛顿法，接下来所要做的就是确定这个矩阵$H_{k+1}$。

DFB算法又被称为变尺度法

$$H_{k+1}=H_k+\frac{p^{(k)}{p}^{(k)T}}{p^{(k)T}{q}^{(k)}}-\frac{H_k{q}^{(k)}{q}^{(k)T}{H}_k}{q^{(k)T}{H}_k{q}^{(k)}}$$满足$p^{(k)}=H_{k+1}{q}^{(k)}$
DFB方法计算如下：

1. 初始化$x^{(1)}$,允许误差$ϵ>0$
2. 置$H_1=I_n$(单位矩阵),$k=1$,计算出在$x^{(1)}$处的梯度$$g_1=▽f(x^{(1)})$$
3. 令$d^{(k)}=-H_k{g}_k$
4. 从$x^{(k)}$出发，沿着$d^{(k)}$搜索，求步长${\lambda }_k$,使其满足$$f(x^{(k)}+{\lambda }_k{d}^{(k)})=mi{n}_{\lambda \ge 0}f(x^{(k)}+\lambda d^{(k)})$$更新$x^{(k+1)}=x^{(k)}+{\lambda }_k{d}^{(k)}$
5. 检验是否满足收敛准则，若$$||▽f(x^{(k+1)})||\le ϵ$$则停止迭代，得到点$\hat{x}=x^{(k+1)}$;否则进行步骤6
6. 若$k=n$,则令$x^{(1)}=x^{(k+1)}$,返回步骤2；否则进行步骤7
7. $$g_{k+1}=▽f(x^{(k+1)})$$$$p^{(k)}=x^{(k+1)}-x^{(k)}$$$$q^{(k)}=g_{k+1}-g_k$$计算$$H_{k+1}=H_k+\frac{p^{(k)}{p}^{(k)T}}{p^{(k)T}{q}^{(k)}}-\frac{H_k{q}^{(k)}{q}^{(k)T}{H}_k}{q^{(k)T}{H}_k{q}^{(k)}}$$k=k+1,返回步骤3

BFGS
$$H_{k+1}^{BFGS}=H_k+(1+\frac{q^{(k)T}{H}_k{q}^{(k)}}{p^{(k)T}{q}^{(k)}})\frac{p^{(k)}{p}^{(k)T}}{p^{(k)T}{q}^{(k)}}-\frac{p^{(k)}{q}^{(k)T}{H}_k+H_k{q}^{(k)}{p}^{(k)T}}{p^{(k)T}{q}^{(k)}}$$