无约束优化问题求解（4）：牛顿法

5.牛顿法

5.1 基本牛顿法

5.1.1 牛顿法的定义

牛顿法的基本原理是对目标函数在当前点的局部邻域采用二次多项式 $q(x)$ 来做近似，并用 $q(x)$ 的最小值点作为下一个迭代点.

目标函数 $f$ 在当前位置 $x_k$ 处的二次 Taylor 展开为$$\begin{array}{r}{q}_k(x)=f(x_k)+\nabla f(x_k{)}^T(x-x_k)+\frac{1}{2}(x-x_k{)}^T{\nabla }^{2}f(x_k)(x-x_k)\end{array}+o((x-x_k{)}^2)$$为了方便起见，记 $d_k=x-x_k$，则上述Taylor展开公式可以写为$$\begin{array}{r}{q}_k(x)=f(x_k)+\nabla f(x_k{)}^T{d}_k+\frac{1}{2}{d}_k^T{\nabla }^{2}f(x_k)d_k\end{array}+o(||d_k|{|}^2)$$现在我们不考虑二次以上的项，直接用 $q_k(x)=f(x_k)+\nabla f(x_k{)}^T{d}_k+\frac{1}{2}{d}_k^T{\nabla }^{2}f(x_k)d_k$ 来做为 $f$ 在 $x_k$ 处的近似.

为了使得该次迭代的函数值下降得尽可能多，我们可以最小化 $h(d_k)=f(x_k)+\nabla f(x_k{)}^T{d}_k+\frac{1}{2}{d}_k^T{\nabla }^{2}f(x_k)d_k$，令 $\nabla h(d_k)=\nabla f(x_k)+\nabla f^2(x_k)d_k=0$，可以得到 $$d=-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$$因此迭代方程可以写为$$x_{k+1}=x_k+d_k=x_k-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$$称 $d_k:=x_{k+1}-x_k$ 是 $x_k$ 处的 牛顿方向，其中 $d_k$ 是线性方程组 ${\nabla }^{2}f(x_k)d=-\nabla f(x_k)$的解，其计算量通常为 $O(n^3)$次浮点运算，此外还需要计算 Hessian 矩阵 ${\nabla }^{2}f(x_k)$ 和梯度 $\nabla f(x_k)$，我们可以将牛顿法的优化函数算法表示如下：

算法 5.1 (基本牛顿法) 选定迭代初值$x_0\in \Omega$,选取$ϵ>0$,重复以下操作 :

(1) 若 $||\nabla f(x_k)||<ϵ$，终止迭代，输出 $x_k$ 和 $f(x_k)$

(2) 计算梯度$:\nabla f(x_k)$

(3) 计算 $Hessian$矩阵 $:{\nabla }^{2}f(x_k)$

(4) 计算方向$:d_k=-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$

(5) 更新迭代点 $:x_{k+1}=x_k-d$，返回步骤 (1)

5.1.2 牛顿法的性质

下面来看看牛顿法有哪些性质.

命题 5.1.1 (仿射不变性) 设 $f:{\mathbb{R}}^n\to \mathbb{R}$ 是二阶连续可微，$T:{\mathbb{R}}^n\to {\mathbb{R}}^n$ 是可逆仿射变换，记 $y=Tx$ ,构造$h(x)=f(Tx)$ ,记单次迭代的牛顿步为 $n_x=-({\nabla }^{2}h(x){)}^{-1}\nabla h(x)$ ,则对于牛顿法单步迭代有：
$$y+n_y=T(x+n_x)$$也就是说对于可逆仿射变换，牛顿法保持不变。

在证明之前，先补充几个关于矩阵微分的结论：

• 如果矩阵 $A$ 是 $n\times m$ 维的，向量 $y$ 是 $m$ 维列向量，使用分母布局，则$$\frac{d(Ay)}{dy}=A^T$$

• 如果矩阵 $A$ 是 $m$ 维方阵，向量 $y$ 是 $m$ 维列向量，使用分母布局，则$$\frac{d(y^{T}Ay)}{dy}=A^{T}y+Ay$$，特别地，如果 $A$ 还是对称矩阵，则上式等于 $2Ay$

好啦，下面就来证明牛顿法的仿射不变性：

证.由于仿射变换是线性变换，于是只需证明 $n_y=T{n}_x$，即只要证 $n_x=T^{-1}{x}_y$，由于$$\begin{array}{rl}{n}_x& =-({\nabla }^{2}h(x){)}^{-1}\nabla h(x)\\ & =-{\left(T^{\top }{\nabla }^{2}f(y)T\right)}^{-1}{T}^{\top }\nabla f(y)\\ & =-T^{-1}{\nabla }^{2}f(y)\nabla f(y)\\ & =T^{-1}{n}_y\end{array}$$证毕.

应用仿射不变性，当牛顿法用于 Hessian矩阵条件数为1的二次型时，牛顿法可以在任意迭代起点确定一条包含最优点的二次曲线，而最优点就在该曲线的最低点上。因此，对于条件数为1的二次型，牛顿法一步到位很显然。对于非标准形式的二次型，都可以对条件数为1的二次型做仿射变换得到，而仿射变换下的牛顿法不变，所以对于不同的二次型而言牛顿法都可以做到一步就收敛到最优点。

命题 5.1.2 (局部收敛性) 设目标函数 $f$ 在其局部极小点 $x^{\ast }$ 的一个邻域 $D$ 内二阶连续可微，其 $Hessian$ 矩阵 ${\nabla }^{2}f(x)$ 在此领域内满足 $Lipschitz$ 条件：存在 $\beta >0$, 使得
$$\begin{array}{r}\Vert {\nabla }^{2}f(x)-{\nabla }^{2}f(y){\Vert }_2\le \beta \Vert x-y{\Vert }_2,\forall x,y\in D.\end{array}$$又设 ${\nabla }^{2}f(x^{\ast })$ 是正定的，那么当初值 $x_0$ 充分接近 $x^{\ast }$ 时，$Newton$ 迭代所得点列 { x k } \{x_k\} {xk​} 至少依二阶收敛于 $x^{\ast }$.

证.因为 ${\nabla }^{2}f(x)$ 在 $x^{\ast }$ 的某邻域内存在且连续，${\nabla }^{2}f(x^{\ast })$ 是正定的，由于正定性具有稳定性(在充分小扰动下仍是正定的)，所以 ${\nabla }^{2}f(x)$ 在 $x^{\ast }$ 的某邻域内仍是正定的，并且 ${\nabla }^{2}f(x{)}^{-1}$ 存在且是连续的. 于是存在 $r>0$ 使得 $B(x^{\ast },r)\subset D$,且 ${\nabla }^{2}f(x{)}^{-1}$ 在 $B(x^{\ast },r)$ 内连续，且有界，即存在 ${\beta }_1>0$, 满足$$\Vert {\nabla }^{2}f(x{)}^{-1}{\Vert }_2\le {\beta }_1,\forall x\in B(x^{\ast },r).$$于是, 当 $x_k\in B(x^{\ast },r)$ 时，利用 $\nabla f(x^{\ast })=0$ 和 Taylor 公式，有$$\begin{array}{rl}{x}_{k+1}-x^{\ast }& =x_k-x^{\ast }-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)\\ & ={\nabla }^{2}f(x_k{)}^{-1}[{\nabla }^{2}f(x_k)(x_k-x^{\ast })-\nabla f(x_k)]\\ & ={\nabla }^{2}f(x_k{)}^{-1}[{\nabla }^{2}f(x_k)(x_k-x^{\ast })-(\nabla f(x_k)-\nabla f(x^{\ast }))]\\ & ={\nabla }^{2}f(x_k{)}^{-1}[{\nabla }^{2}f(x_k)-{\nabla }^{2}f(x_k+\theta (x^{\ast }-x_k))](x_k-x^{\ast }).\end{array}$$其中，$\theta \in (0,1)$，所以有$$\begin{array}{rl}\Vert x_{k+1}-x^{\ast }{\Vert }_2& \le \Vert {\nabla }^{2}f(x_k{)}^{-1}{\Vert }_2\Vert {\nabla }^{2}f(x_k)-{\nabla }^{2}f(x_k+\theta (x^{\ast }-x_k)){\Vert }_2\Vert x_k-x^{\ast }{\Vert }_2\\ & \le {\beta }_1\beta \Vert x_k-x^{\ast }{\Vert }^2.\end{array}$$不妨设 $r$ 足够小，使得 $\beta {\beta }_{1}r\le 1$. 那么 $\Vert x_{k+1}-x^{\ast }{\Vert }_2\le \Vert x_k-x^{\ast }{\Vert }_2<r$. 这说明$x_{k+1}\in B(x^{\ast },r)$,且$\Vert x_{k+1}-x^{\ast }{\Vert }_2\le \beta {\beta }_1\Vert x_k-x^{\ast }{\Vert }_2^2$.所以， { x k } \{x_k\} {xk​} 至少依二阶收敛于 $x^{\ast }$.

5.1.3 牛顿法的优缺点

优点：

• 在最优点附近二次收敛。
• 具有仿射不变性，对坐标系的选择不敏感。
• 不会随着问题维度的增大而大幅增加所需的迭代次数。
• 不需要通过线搜确定迭代更新的步长。

缺点：

• 计算和储存Hessian矩阵及其逆矩阵需要很高的成本，计算Hessian 矩阵的算法复杂度是 $O(n^3)$
• Hessian矩阵不一定是可逆的，同时Hessian矩阵也不一定是正定的，当Hessian矩阵不可逆时，牛顿法失效
• 牛顿法得到的搜索方向不一定是下降方向，只有当Hessian 矩阵正定的时候由牛顿法得到搜素方向才是下降的。

虽然牛顿法的优点众多，但是实际应用中很少使用牛顿法，因为牛顿法对于Hessian 矩阵正定的条件过于苛刻，实际问题中不一定都能满足这个条件，为此人们也提出了一些牛顿方法的改进版.

5.2 阻尼牛顿法

在 Newton 法中，当 ${\nabla }^{2}f(x_k)$ 为正定矩阵时，若 $\nabla f(x_k)\ne 0$,则 Newton 方向 $d_k:=-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$ 满足
$$\nabla f(x_k{)}^T{d}_k:=-\nabla f(x_k{)}^T{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)<0$$所以，Newton 方向在 ${\nabla }^{2}f(x_k)$ 为正定矩阵时一定是下降方向.为此，我们沿着 Newton 方向做线搜索：
$$\begin{array}{rl}{x}_{k+1}=x_k+{\alpha }_k{d}_k,d_k& :=-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k),\end{array}$$其中 ${\alpha }_k>0$ 是阻尼因子.

命题 5.2.1 (阻尼 Newton 法的收敛性) 设 $f\in C^2({\mathbb{R}}^n),x_0\in {\mathbb{R}}^n,D$ 是 ${\mathbb{R}}^n$ 中一个凸集，满足$${\mathbf{lev}}_{f(x_0)}(f)\subset D,z^T{\nabla }^{2}f(x)z\ge \beta \Vert z{\Vert }_2^2,\forall x\in D,z\in {\mathbb{R}}^n,$$其中 $\beta >0$ 为一常数. 那么，以 $x_0$ 为初始点，当 $\nabla f(x_k)\ne 0$ 时以 $Newton$ 方向$d_k:=-{\nabla }^{2}f(x_k{)}^{-1}\nabla f(x_k)$ 作为搜索方向，采用精确搜索，或 $Goldstein$ 准则，或$Wolfe$ 准则所得的迭代点列 { x k } \{x_k\} {xk​} 满足：或者存在 $k\ge 0$ 使得 $\Vert \nabla f(x_k){\Vert }_2=0$,或者 ${\lim }_{k\to \infty }\Vert \nabla f(x_k){\Vert }_2=0$.

5.3 拟牛顿法

5.3.1 拟牛顿法基本思想

Newton 法和阻尼 Newton 法在每一步迭代均需计算 Hessian 矩阵，而二阶导数的计算常常有较大的计算量.实际上，拟 Newton 是一类改进Newton法的方法，拟 Newton 法的基本思想是用一个可逆矩阵 $B_k$ 近似 ${\nabla }^{2}f(x_k)$,然后以 $d_k:=-B_k^{-1}\nabla f(x_k)$ 作为迭代修正量，即 $x_{k+1}=x_k+d_k.B_k$ 应满足如下条件：

$(1)B_k\approx {\nabla }^{2}f(x_k)$

$(2)B_k$ 对称正定，以保证 $d_k:=-B_k^{-1}\nabla f(x_k)$ 为下降方向

$(3)B_k$ 的计算应比 ${\nabla }^{2}f(x_k)$ 明显简单，不然还不如直接计算 Hessian矩阵呢

下面我们来看看 $B_k$ 应该如何构造，记
$$\begin{array}{r}{y}_k:=\nabla f(x_{k+1})-\nabla f(x_k),s_k:=x_{k+1}-x_k.\end{array}$$

根据 Taylor 公式有$$\nabla f(x_{k+1})-\nabla f(x_k)={\nabla }^{2}f(x_k+{\theta }_k(x_{k+1}-x_k))(x_{k+1}-x_k),{\theta }_k\in (0,1),$$
我们可以选取 $B_k$ 或 $B_{k+1}$ 为 ${\nabla }^{2}f(x_k+{\theta }_k(x_{k+1}-x_k))$,即选择 $B_k$ 或 $B_{k+1}$ 满足$$\begin{array}{rl}{B}_k{s}_k=y_k& \text{或}{B}_{k+1}{s}_k=y_k.\end{array}$$为了避免求解逆矩阵 $B_k^{-1}$,令 $H_k:=B_k^{-1}$,那么上式等价于
$$\begin{array}{rlrlrlr}{H}_k{y}_k& =s_k& & \text{或}& & H_{k+1}{y}_k& =s_k.\end{array}$$从给定的初值 $x_0,H_0$ 出发，$k$ 次迭代后若当前已求得 $x_k$ 和 $H_k$, 那么可以求得 Newton 方向 $d_k:=-H_k\nabla f(x_k)$,然后通过线搜索求得 $x_{k+1}$, 进而通过(8.5.3)求得 $y_k$ 和 $s_k$.所以， 我们采用 (2) 的第二个方程，即$$\begin{array}{r}{H}_{k+1}{y}_k=s_k,\end{array}$$求 $H_{k+1}$, 进而在 $\Vert \nabla f(x_{k+1}{\Vert }_2\ne 0$ 的情况下进一步往下迭代，上述迭代流程可以图示如下：

$$\cdots \to (x_k,H_k)\to \nabla f(x_k)\to d_k\stackrel{\text{线搜索}}{⟶}{x}_{k+1}\to \{\begin{array}{l}{s}_k\\ \nabla f(x_{k+1})\to y_k\end{array}\stackrel{(4)}{⟶}{H}_{k+1}\to \cdots$$
我们将上述流程写成求解 $min$ $f(x)$ 的如下拟 Newton 算法.

算法 5.3 (拟 Newton 法)
(5.3.1) 取初值 $x_0$ 和初始矩阵 $H_0$,以及停止参数 $ϵ>0$. 计算 $\nabla f(x_0)$,令 $k=0$.

(5.3.2) 若 $\Vert \nabla f(x_k)\Vert \le ϵ$,转第 (5.3.5)步.

(5.3.3) 计算 $d_k:=-H_k\nabla f(x_k)$,沿方向 $d_k$ 进行线搜索求 ${\alpha }_k$, 计算 $x_{k+1}=x_k+{\alpha }_k{d}_k$ 以及 $\nabla f(x_{k+1})$.进而按 (2)即按照 $y_k:=\nabla f(x_{k+1})-\nabla f(x_k),s_k:=x_{k+1}-x_k$ 计算 $s_k$ 和 $y_k.$

(5.3.4) 按照(4)即 $H_{k+1}{y}_k=s_k$ 求正定矩阵 $H_{k+1}$ .令 $k=k+1$.转第 (5.3.2)步.

(5.3.5) 令 $x^{\ast }=x_k$, 程序结束.

上述算法实际上是带有阻尼系数(最优步长 ${\alpha }_k$)的拟牛顿法，如果替换(5.3.3)中的迭代式 $x_{k+1}=x_k+{\alpha }_k{d}_k$为 $x_{k+1}=x_k+d_k$则为 $naive$ 的拟牛顿法.

下面我们来看看拟牛顿法和牛顿法之间的联系，根据迭代式 $x_{k+1}=x_k+d$，我们希望下一个迭代点的函数值 $f(x_{k+1})$要尽可能地小于 $f(x_k)$，为此我们利用 Taylor 公式，将 $f(x_{k+1})$展开如下:$$f(x_{k+1})=f(x_k+d)=f(x_k)+g_k^{T}d+o(||d|{|}^2)$$上式中 $g_k^T=\nabla f(x_k{)}^T$，当 $d$足够小时，我们可以用线性部分 $f(x_k)+g_k^{T}d$ 来作为函数值 $f(x_{k+1})$ 的近似（这是微积分里泰勒公式的结论，大家应该都懂得啦~），因为我们想要迭代过程中函数值是下降的，则需要满足 $g_k^{T}d＜0$，同时为了使得函数值下降幅度最大，相当于求解优化问题：$$\underset{d}{\max }|g_k^{T}d|$$为了和之前的拟牛顿法的 $B_k$​ 联系起来，可以使用椭球范数
​来约束 $d$ ​的取值，不妨设 $||d|{|}_{B_k}=||d^T{B}_{k}d||=1$。那么要优化的问题就是如下的式子：$$\underset{d}{\max }|g_k^{T}d|||d|{|}_{B_k}=1$$由Cauchy-Schwartz不等式，可得：$$|g_k^{T}d|=\sqrt{(g_k^{T}d{)}^2}\le \sqrt{(g_k^T{B}_k^{-1}{g}_k)(d^T{B}_{k}d)}=\sqrt{g_k^T{B}_k^{-1}{g}_k}$$根据不等式等号成立的条件，当且仅当 $d=-B_k^{-1}{g}_k$ 时，上述不等式等号成立.

故，在我们将 $d$ 在 $||\cdot |{|}_{B_k}$ 意义下的椭球范数设为定值时，可以得到下降幅度最大的方向为$d=-B_k^{-1}{g}_k$ 。因此我们可以说拟牛顿法是在 $||\cdot |{|}_{B_k}$ 下的最速下降法。

由于每次迭代时的 $B_k$都会变化，那么度量 $d$ ​的范数也会随之变化，因此，我们会将这样的方法称为变尺度法.

而当 $B_k=I$ 时，拟牛顿方向变为梯度下降方向，所以我们也可以说梯度下降法是在 $||\cdot ||$ ( $L_2$ 范数)下的最速下降法；而普通的牛顿法则是在 $||\cdot |{|}_{{\nabla }^{2}f(x_k)}$ 下的最速下降法.

5.3.2 拟牛顿法的求解构造

一般而言，满足(4)即 $H_{k+1}{y}_k=s_k$ 的正定矩阵 $H_{k+1}$ 是不唯一的. 考虑到计算性能，我们当然希望以尽量少的计算代价来构造它，其中有一种简单的方法，称为校正法，即令$$\begin{array}{r}{H}_{k+1}:=H_k+R_k,k=0,1,\cdots \end{array}$$其中 $R_k$ 是校正矩阵，并且校正矩阵 $R_k$ 是对称的. 将之代入 $H_{k+1}{y}_k=s_k$, 得
$$\begin{array}{r}{R}_k{y}_k=s_k-H_k{y}_k.\end{array}$$所以，问题归结为构造满足(6) 的矩阵 $R_k$：
当 $H_k{y}_k=s_k$ 时，零矩阵 $R_k:=0$ 便满足(6). 此时，可取 $H_{k+1}=H_k.$

当 $H_k{y}_k\ne s_k$ 时，我们有多种方法构造 $R_k$, 下面我们构造具有最小秩的修正矩阵
$R_k$. 根据实对称矩阵的特征分解可知，$\mathbf{rank}(R_k)=m$ 当且仅当存在线性无关的向量$u_1,...,u_m$ 和非零实数 ${\alpha }_1,...,{\alpha }_m$,使得 $R_k={\alpha }_1{u}_1{u}_m^T+...+{\alpha }_m{u}_m{u}_m^T$.

秩1校正

所谓秩 1 校正是使用秩为 1 的矩阵 $R_k$ 作为校正项. 由于 $R_k$ 是对称的，利用特征分解我们知道 $R_k$ 秩 1 对称矩阵当且仅当存在 $\lambda \in \mathbb{R},u\in {\mathbb{R}}^n,\Vert u{\Vert }_2=1$, 使得 $R_k:=\lambda u{u}^T.$

SR1

设 $H_k{y}_k\ne s_k$ 且存在秩 1 矩阵 $R_k:=\lambda u{u}^T$ 满足 (6)，即 $R_k{y}_k=s_k-H_k{y}_k$，则有
$$\begin{array}{r}\lambda (u^T{y}_k)u=s_k-H_k{y}_k.\end{array}$$上式两边与 $y_k$ 做内积，将等式的维度对齐有可以得到 $\lambda (u^T{y}_k{)}^2=(s_k-H_k{y}_k{)}^T{y}_k$, 且
$$(s_k-H_k{y}_k)(s_k-H_k{y}_k{)}^T={\lambda }^2(u^T{y}_k{)}^{2}u{u}^T=\lambda (u^T{y}_k{)}^2{R}_k=\left[\begin{array}{c}(s_k-H_k{y}_k{)}^T{y}_k\end{array}\right]R_k.$$将上式带入(5)得
$$\begin{array}{r}{H}_{k+1}=H_k+\frac{(s_k-H_k{y}_k)(s_k-H_k{y}_k{)}^T}{(s_k-H_k{y}_k{)}^T{y}_k}.\end{array}$$公式(8)称为对称秩 1 校正公式 (Symmetric Rank One Correction, SR1). 它们是
Broyden 和 Davidon 分别于 1967 年和 1968 年提出.(PS:SR1是William C. Davidon在1956年提出的，但由于缺少收敛性分析，所以Davidon的论文被拒稿，导致SR1算法没能成为第一个公认的拟牛顿法)如上所述，秩 1 校正的前提是假设存在秩 1 校正满足 $R_k{y}_k=s_k-H_k{y}_k$. 此时我们推得 $(s_k-H_k{y}_k{)}^T{y}_k\ne 0$, 且有递推公式 $H_{k+1}=H_k+\frac{(s_k-H_k{y}_k)(s_k-H_k{y}_k{)}^T}{(s_k-H_k{y}_k{)}^T{y}_k}$.

反过来，当$(s_k-H_k{y}_k{)}^T{y}_k\ne 0$ 时，易见由(8) 所得到的 $H_{k+1}$ 满足 $H_{k+1}{y}_k=s_k.$ 考虑到 $H_k{y}_k=s_k$ 的情形，我们得到如下秩 1 迭代公式：

$$\begin{array}{r}{H}_{k+1}=H_k+\{\begin{array}{ll}\frac{(s_k-H_k{y}_k)(s_k-H_k{y}_k{)}^T}{(s_k-H_k{y}_k{)}^T{y}_k}& \text{如果}(H_k{y}_k-s_k{)}^T{y}_k\ne 0,\\ 0& \text{如果}{H}_k{y}_k=s_k.\end{array}\end{array}$$ 于是可以知道，若 $H_k$ 正定并且 $(s_k-H_k{y}_k{)}^T{y}_k>0$, 那么由(8)所定义的 $H_{k+1}$ 也是正定的. 迭代公式(9)并不包含 $H_k{y}_k\ne s_k$ 而 $(H_k{y}_k-s_k{)}^T{y}_k=0$ 的情形.实际上，在这种情况下秩 1 迭代不存在，也就是说，不存在秩 1 矩阵 $R_k$ 使得 $R_k{y}_k=s_k-H_k{y}_k$ 成立. 因而，我们需要考虑更复杂一点的校正矩阵.

秩2校正

如上所述，对称秩 1 公式在迭代的第 $k$ 步，要求存在秩 1 矩阵 $R_k$ 使得 $R_k{y}_k=s_k-H_k{y}_k$ 成立；同时，当$H_k{y}_k\ne s_k$ 时，需要满足 $(s_k-H_k{y}_k{)}^T{y}_k>0$ 才能保证存在秩 1 校正矩阵 $R_k$ 满足(6). 为此突破这些局限性，我们考虑如下的秩 2 校正法.

DFP

设 $u,v\in {\mathbb{R}}^n$，$\alpha ,\beta \in \mathbb{R}$.令$$\begin{array}{r}{H}_{k+1}=H_k+\alpha u{u}^T+\beta v{v}^T.\end{array}$$将该式带入到 $H_{k+1}{y}_k=s_k$ 可以得到$$\begin{array}{r}{H}_k{y}_k+\alpha (u^T{y}_k)u+\beta (v^T{y}_k)v=s_k\end{array}$$为简化表达式，当$u^T{y}_k\ne 0,v^T{y}_k\ne 0$,我们可以选取适当的 $\alpha ,\beta$,使得 $\alpha (u^T{y}_k)=\beta (v^T{y}_k)=1$.那么上式化为$$H_k{y}_k+u+v=s_k.$$因此，我们只要取$u:=s_k,v:=-H_k{y}_k$ 即可，此时有迭代公式
$$\begin{array}{r}{H}_{k+1}=H_k+\frac{s_k{s}_k^T}{s_l^T{u}_k}-\frac{(H_k{y}_k)(H_k{y}_k{)}^T}{u_l^T{H}_k{u}_k}\end{array}$$上式称为秩 2 校正公式,它是 Davidon 于 1959 年提出， 经由 Fletcher 和 Powell 之手于 1963 年发展而成，因而也称为 DFP 公式，是第一个公认的拟牛顿法。

秉持严谨治学的态度，我还是把相关的证明贴出来吧（反正我是不想看的~）

命题 5.3.2

(1) 设 $H_{k+1}$ 对称正定，满足 $H_{k+1}{y}_k=s_k\ne 0$,则 $s_k^T{y}_k>0$

(2) 设 $H_k$ 正定且 $s_k^T{y}_k>0$,则 $y_k^T{H}_k{y}_k>0$,且 (10)即迭代式 $H_{k+1}=H_k+\frac{s_k{s}_k^T}{s_l^T{u}_k}-\frac{(H_k{y}_k)(H_k{y}_k{)}^T}{u_l^T{H}_k{u}_k}$ 所定义的 $H_{k+1}$ 是对称正定矩阵，满足 $H_{k+1}{y}_k=s_k\ne 0$

证.(1) 设$H_{k+1}$对称正定，满足$H_{k+1}{y}_k=s_k\ne 0$.显然$y_k\ne 0$,且$s_k^T{y}_k=y_k^T{H}_{k+1}{y}_k>0$.

(2) 设 $H_k$ 正定且 $s_k^T{y}_k>0$，则 $y_k\ne 0$，从而有 $y_k^T{H}_k{y}_k>0$， ∀ x ∈ R n ∖ { 0 } \forall x\in\mathbb{R}^n\setminus\{0\} ∀x∈Rn∖{0}，有$$\begin{array}{r}{x}^T{H}_{k+1}x=x^T{H}_{k}x+\frac{(x^T{s}_k{)}^2}{s_k^T{y}_k}-\frac{(x^{T}H{y}_k{)}^2}{y_k^T{H}_k{y}_k}=\frac{(x^T{s}_k{)}^2}{s_k^T{y}_k}+\frac{{\gamma }_k(x)}{y_k^T{H}_k{y}_k}\end{array}$$其中有$$\begin{array}{r}{\gamma }_k(x):=(x^T{H}_{k+1}x)(y_k^T{H}_k{y}_k)-(x^T{H}_k{y}_k{)}^2=\Vert x{\Vert }_{H_k}^2\Vert y_k{\Vert }_{H_k}^2-⟨x,y_k{⟩}_{H_k}^2,\end{array}$$
 设  H k  正定且  s k T y k > 0 ,  则  y k ≠ 0 ,  从而  y k T H k y k > 0. ∀ x ∈ R n ∖ { 0 } ,  有 x T H k + 1 x = x T H k x + ( x T s k ) 2 s k T y k − ( x T H y k ) 2 y k T H k y k = ( x T s k ) 2 s k T y k + γ k ( x ) y k T H k y k , \begin{aligned}&\text{ 设 }H_k\text{ 正定且 }s_k^Ty_k>0,\text{ 则 }y_k\neq0,\text{ 从而 }y_k^TH_ky_k>0.\\&\forall x\in\mathbb{R}^n\setminus\{0\},\text{ 有}\\&x^TH_{k+1}x=x^TH_kx+\frac{(x^Ts_k)^2}{s_k^Ty_k}-\frac{(x^THy_k)^2}{y_k^TH_ky_k}=\frac{(x^Ts_k)^2}{s_k^Ty_k}+\frac{\gamma_k(x)}{y_k^TH_ky_k},\end{aligned} ​ 设 Hk​ 正定且 skT​yk​>0, 则 yk​=0, 从而 ykT​Hk​yk​>0.∀x∈Rn∖{0}, 有xTHk+1​x=xTHk​x+skT​yk​(xTsk​)2​−ykT​Hk​yk​(xTHyk​)2​=skT​yk​(xTsk​)2​+ykT​Hk​yk​γk​(x)​,​而 $⟨x,y{⟩}_{H_k}:=x^T{H}_{k}y$ 为一个内积，$\Vert x{\Vert }_{H_k}:=\sqrt{⟨x,x{⟩}_{H_k}}$ 是相应的范数. 根据 Cauchy-Schwartz 不等式可知 ${\gamma }_k(x)\ge 0$,且等号成立当且仅当 $x=\lambda y_k$, 其中 $\lambda \ne 0$. 在等号成立时，有$x^T{s}_k=\lambda s_k^T{s}_k\ne 0$,所以$x^T{H}_{k+1}x>0.$

那么，在什么条件下能保证 $s_k^T{y}_k>0$ 呢？如下的命题表明，只要在线搜索时使用精确搜素或 Wolfe 搜索，都可以保证这一条件得到满足.

**命题 5.3.3 **对于拟 Newton 法 $d_k:=-H_k\nabla f(x_k)$,设 $H_k$ 为正定矩阵，$\nabla f(x_k)\ne 0$,使用精确搜素或 $Wolfe$ 非精确搜索时，有 $s_k^T{y}_k>0.$

证. 在精确搜索和非精确 Wolfe 搜索情形，有
$$\begin{array}{r}\nabla f(x_{k+1}{)}^T{d}_k\ge \sigma \nabla f(x_k{)}^T{d}_k,\end{array}$$其中 $0\le \sigma <1($精确搜索时 $\sigma =0).$ 因为 $s_k={\alpha }_k{d}_k$, 我们有$$\begin{array}{rl}{s}_k^T{y}_k& \begin{array}{r}={\alpha }_k(\nabla f(x_{k+1})-\nabla f(x_k){)}^T{d}_k\end{array}\\ & \ge {\alpha }_k[\sigma \nabla f(x_k{)}^T{d}_k-\nabla f(x_k{)}^T{d}_k]=-(1-\sigma ){\alpha }_k\nabla f(x_k{)}^T{d}_k.\end{array}$$将$d_k=-H_k\nabla f(x_k)$ 代入上式，得$s_k^T{y}_k\ge (1-\sigma ){\alpha }_k\nabla f(x_k{)}^T{H}_k\nabla f(x_k)>0.$

BFGS

类似于 DPF 校正公式，我们考虑 $B_k$ 的秩 2 校正. 令
$$B_{k+1}=B_k+\alpha u{u}^T+\beta v{v}^T,$$使之满足 $B_{k+1}{s}_k=y_k$. 类似与 DPF 校正公式，通过适当地选取 $\alpha ,\beta ,u,v$, 我们可以得到如下的秩 2 校正公式：
$$\begin{array}{r}{B}_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{s}_k}-\frac{(B_k{s}_k)(B_k{s}_k{)}^T}{s_k^T{B}_k{s}_k}\end{array}$$它是 Broyden 于 1967 年，Fletcher, Goldfarb, Shanno 于 1970 年分别独立提出的，因而也称为 BFGS 公式.

与 DPF 公式类似，我们可以证明当 $B_{k+1}$ 对称正定，且满足 $B_{k+1}{s}_k=y_k\ne 0$ 时，必有$s_k^T{y}_k>0;$反之，若$B_k$ 正定且$s_k^T{y}_k>0$,则由 (11)所定义的 $B_{k+1}$ 是对称正定的， 且满足 $B_{k+1}{s}_k=y_k\ne 0$.当 $B_k$ 正定，$\nabla f(x_k)\ne 0$,沿方向 $d_k:=-B_k^{-1}\nabla f(x_k)$ 使用精确搜素或 Wolfe 非精确搜索时，必有 $s_k^T{y}_k>0.$

写到这先到此为止把，因为字数内容超了，后续内容留给下一篇把TAT

Reference

本笔记内容参考如下了（包括但不限于）
最优化方法复习笔记（一）梯度下降法、精确线搜索与非精确线搜索（推导+程序）