无约束最优化方法

无约束优化方法

求解无约束最优化的基本思路

1. 给定初始点$x_0\in {\mathbb{R}}^n,k=0$
2. 判断当前解是否满足终止准则，若满足则停止迭代，若不满足则转3.
3. 确定$f(x)$在$x_k$点的下降方向
4. 确定步长${\lambda }_k$，使$f(x_k+{\lambda }_k{d}_k)$较之$f(x_k)$有某种意义的下降
5. 令$x_{k+1}=x_k+{\lambda }_k{d}_k,k=k+1$ ，转2.

终止准则

1. 对于无约束优化问题，适用于收敛速度较慢的算法准则为$\Vert \nabla f(x_k)\Vert ⩽\epsilon$
2. 当算法具有超线性收敛性时，较为合适的准则为$\Vert x_{k+1}-x_k\Vert ⩽\epsilon$
3. 对于快速收敛的算法，相当有效的准则为$|f(x_{k+1})-f(x_k)|⩽\epsilon$

非凸优化变为凸优化

1. 修改目标函数，用凸函数近似目标函数
2. 放松约束条件，将可行域替换为其凸包(集合内所有点的凸组合)
3. 求解拉格朗日对偶问题，无论原问题是否为凸优化问题，其拉格朗日对偶问题一定是凸优化问题

有约束问题转化为无约束问题

1. 具有强对偶性质的优化问题可以求解其拉格朗日对偶问题，进而得到原问题的最优解
2. 罚函数法：根据约束条件构造惩罚函数，之后按照无约束优化问题求解

最速下降法，牛顿法，拟牛顿法统一公式描述

$$\{\begin{array}{l}{x}_{k+1}=x_k+\lambda d_k\\ d_k=-D_k\nabla f\left(x_k\right)\end{array}$$

对于最速下降法$D_k=I$
对于牛顿法$D_k={\left[{\nabla }^{2}f\left(x_k\right)\right]}^{-1}$
对于拟牛顿法$D_k$为Hesse矩阵的逆矩阵的逼近矩阵

一维线搜索

精确一维线搜索

• 二分法
• Dichotomous法
• Fibonacci法
• 黄金分割法
• Shubert_Piyavskii法

不精确一维线搜索

Goldstein准则

$$\begin{gathered} (1)f(x^{(k+1)})-f(x^{(k)})\le \rho {\lambda }_k\nabla f^T(x^{(k)})d^{(k)} \\ (2)f(x^{(k+1)})-f(x^{(k)})\ge \rho {\lambda }_k\nabla f^T(x^{(k)})d^{(k)} \end{gathered}$$

Wolfe准则

$$\begin{array}{l}Inexact-search-algorithm\\ 1.chooseinitialpoint{x}_0,initialsection\left[0,\lambda \max \right],\rho \in \left(0,\frac{1}{2}\right),\sigma \in \left(\rho ,1\right)\\ Let{\lambda }_L=0,{\lambda }_U={\lambda }_{m}ax,calculate{\varphi }_L=f\left(x_k\right),{\varphi }_L^{\prime }=g^T\left(x_k\right)d_k,{\lambda }_M\in \left({\lambda }_L,{\lambda }_U\right)\\ 2.\varphi \left(\lambda \right)=f\left(x_k+\lambda d_k\right)If\varphi \left({\lambda }_M\right)-\varphi \left({\lambda }_L\right)\le \rho \alpha {\varphi }^{\prime }\left({\lambda }_L\right),turnto3.\\ Otherwiseaccordngtoquadraticinterpolation\left(2points,1derivative\right)\\ Assuming\varphi \left(\lambda \right)=a{\lambda }^2+b\lambda +c{\varphi }^{\prime }\left(\lambda \right)=2a\lambda +b\\ \{\begin{array}{l}\varphi \left({\lambda }_L\right)=a{\lambda }_L^2+b{\lambda }_L+c\\ \varphi \left({\lambda }_M\right)=a{\lambda }_M^2+b{\lambda }_M+c\\ {\varphi }^{\prime }\left({\lambda }_L\right)=2a{\lambda }_L+b\end{array}\\ \Rightarrow \{\begin{array}{l}\varphi \left({\lambda }_M\right)-\varphi \left({\lambda }_L\right)=a\left({\lambda }_M^2-{\lambda }_L^2\right)+b\left({\lambda }_M-{\lambda }_L\right)\\ \left({\lambda }_M-{\lambda }_L\right){\varphi }^{\prime }\left({\lambda }_L\right)=2a{\lambda }_L\left({\lambda }_M-{\lambda }_L\right)+b\left({\lambda }_M-{\lambda }_L\right)\end{array}\\ \Rightarrow \left({\lambda }_M-{\lambda }_L\right){\varphi }^{\prime }\left({\lambda }_L\right)-\varphi \left({\lambda }_M\right)+\varphi \left({\lambda }_L\right)=-a{\left({\lambda }_M-{\lambda }_L\right)}^2\\ \Rightarrow \{\begin{array}{l}a=-\frac{\left({\lambda }_M-{\lambda }_L\right){\varphi }^{\prime }\left({\lambda }_L\right)-\varphi \left({\lambda }_M\right)+\varphi \left({\lambda }_L\right)}{{\left({\lambda }_M-{\lambda }_L\right)}^2}\\ b={\varphi }^{\prime }\left({\lambda }_L\right)-2{\lambda }_{L}a\end{array}\\ -\frac{b}{2a}={\lambda }_L+\frac{1}{2}\cdot \frac{{\varphi }^{\prime }\left({\lambda }_L\right){\left({\lambda }_M-{\lambda }_L\right)}^2}{\left({\lambda }_M-{\lambda }_L\right){\varphi }^{\prime }\left({\lambda }_L\right)-\varphi \left({\lambda }_M\right)+\varphi \left({\lambda }_L\right)}\\ Let{\lambda }_U={\lambda }_M,{\lambda }_M=\overline{\lambda },turnto2.\\ 3.Calculate{\varphi }^{\prime }\left({\lambda }_M\right)=g{\left(x_k+{\lambda }_M{d}_k\right)}^T{d}_k,If{\varphi }^{\prime }\left({\lambda }_M\right)⩾\sigma {\varphi }^{\prime }\left({\lambda }_L\right),let{\lambda }_k={\lambda }_M,return;\\ Otherwiseaccordingtoquadraticintapdation\left(1point,2derivatives\right)\\ \{\begin{array}{l}\varphi \left({\lambda }_L\right)=a{\lambda }_L^2+b{\lambda }_L+c\\ {\varphi }^{\prime }\left({\lambda }_L\right)=2a{\lambda }_L+b\\ {\varphi }^{\prime }\left({\lambda }_M\right)=2a{\lambda }_M+b\end{array}\\ \Rightarrow \{\begin{array}{l}a=\frac{{\varphi }^{\prime }\left({\lambda }_M\right)-{\varphi }^{\prime }\left({\lambda }_L\right)}{2({\lambda }_M-{\lambda }_L)}\\ b={\varphi }^{\prime }\left({\lambda }_M\right)-2a{\lambda }_M\end{array}\\ \overline{\lambda }=-\frac{b}{2a}={\lambda }_M-\frac{{\varphi }^{\prime }\left({\lambda }_M\right)\left({\lambda }_M-{\lambda }_L\right)}{{\varphi }^{\prime }\left({\lambda }_M\right)-{\varphi }^{\prime }\left({\lambda }_L\right)}\\ Let{\lambda }_L={\lambda }_M,{\lambda }_M=\overline{\lambda },turnto2.\end{array}$$

多维搜索

不使用导数的方法

坐标轮换法

坐标轴作为搜索方向,沿方向$d_1,d_2,\cdots ,d_n$搜索，其中$d_j$是除第j个位置为1，别的位置为0的向量，每次只改变第j个变量，其它变量保持不动。

• 如果函数可微，梯度存在，最小化坐标方向时优先选择偏导数成份幅度最大的方向进行最小化

• 这种顺序一维最小化有时称为Gauss-Seidel迭代，可用于解线性方程组

• 该方法与最速下降法的收敛速度相当

函数可微时，方法会收敛到梯度为0的点，但不可微时，则可能 会在非最优点停止。

这种沿方向$x_{k+1}-x_k$搜索的方式在坐标轮换方法中经常使 用，有时函数可微时也这样，并且固定𝒌次迭代后进行一次这样的搜索，通常会加速收敛，称为加速步。

使用导数的方法

最速下降法(梯度下降)

定理1 $f:{\mathbb{R}}^n\to \mathbb{R}$在$x$处可微，假设$\nabla f(x)\ne 0$，则下述问题的解即为$f(x)$在$x$处的最速下降方向
$$\begin{array}{r}\underset{d}{\min }{f}^{\prime }\left(x;d\right)=\underset{\lambda \to 0^{+}}{\lim }\frac{f\left(x+\lambda d\right)-f\left(x\right)}{\lambda }=\nabla f{\left(x\right)}^{T}ds.t.\Vert d\Vert =1\\ \Rightarrow \overline{d}=-\frac{\nabla f\left(x\right)}{\Vert \nabla f\left(x\right)\Vert }\end{array}$$
前后两次搜索方向正交
$$\begin{array}{l}{x}_{k+1}=x_k+{\lambda }_k{d}_k\\ {\lambda }_k=\arg {\min }_{\lambda }f\left(x_k+\lambda d_k\right)\\ \frac{df}{d\lambda }=\nabla f^T\left(x_k+\lambda d_k\right)d_k=d_{k+1}^T{d}_k=0\end{array}$$

牛顿法(二阶导数)

使用二阶泰勒展开局部近似

一维：
$$\begin{array}{l}q\left(x\right)=f\left(x_k\right)+\left(x-x_k\right)f^{\prime }\left(x_k\right)+\frac{{\left(x-x_k\right)}^2}{2}{f}^{\prime \prime }\left(x_k\right)\\ q^{\prime }\left(x\right)=f^{\prime }\left(x_k\right)+\left(x-x_k\right)f^{\prime \prime }\left(x_k\right)=0\\ \Rightarrow x_{k+1}=x_k-\frac{f^{\prime }\left(x_k\right)}{f^{\prime \prime }\left(x_k\right)}\end{array}$$
多维：
$$\begin{array}{l}q\left(x\right)=f\left(x_k\right)+\nabla f^T\left(x_k\right)\left(x-x_k\right)+\frac{1}{2}{\left(x-x_k\right)}^{T}H\left(x_k\right)\left(x-x_k\right)\\ q^{\prime }\left(x\right)=\nabla f\left(x_k\right)+H\left(x_k\right)\left(x-x_k\right)=0\\ \Rightarrow x_{k+1}=x_k-H^{-1}\left(x_k\right)\nabla f\left(x_k\right)\end{array}$$
下面给出基本 Newton 方法的收性定理．
定理2（基本 Newton 方法的收敛性）
设 $f(x)\in C^2,f(x)$的Hesse矩阵$G(x)$满足 Lipschitz条件，即存在 $\beta >0$，对任给的$x$与$y$ ，有$\Vert G(x)-G(y)\Vert ⩽\beta \Vert x-y\Vert$ ．若 $x_0$充分接近$f(x)$的局部极小点$x^{\ast }$，且$G^{\ast }$正定，则 Newton方法对所有的$k$有定义，并以二阶收敛速度收敛．
证明 因为$g(x)$是向量函数，下面证明$g(x)$在$x_k$处的Taylor展开式为
$$g\left(x_k+d\right)=g_k+G_{k}d+O\left({\Vert d\Vert }^2\right)\text{\hspace{1em}(10)}$$
其中$d=x-x_k$。设$g(x)$的分量为$g_i(x)$，矩阵$G(x)$的元素为$G_{ij}(x)$。$g_i(x)$在点$x_k$的Taylor展开式为
$$g_i\left(x_k+d\right)=g_i\left(x_k\right)+\sum _{j=1}^n{G}_{ij}\left(x_k+{\theta }_{i}d\right)d_j{\theta }_i\in \left(0,1\right)\text{\hspace{1em}(11)}$$
其中$d_j$为$d$的分量，从而
$$g_i\left(x_k+d\right)-g_i\left(x_k\right)-\sum _{j=1}^n{G}_{ij}\left(x_k\right)d_j=\sum _{j=1}^n\left[G_{ij}\left(x_k+{\theta }_{i}d\right)-G_{ij}\left(x_k\right)\right]d_j$$
由矩阵$G(x)$满足Lipschitz条件知，对任意i,j，有
$$\left|G_{ij}\left(x\right)-G_{ij}\left(y\right)\right|\le \beta \Vert x-y\Vert$$
另外，$\Vert {\theta }_{i}d\Vert ⩽\Vert d\Vert ,|d_j|⩽\Vert d\Vert$，则
$$\left|g_i\left(x_k+d\right)-g_i\left(x_k\right)-\sum _{j=1}^n{a}_{ij}\left(x_k\right)d_j\right|\le \beta {\theta }_i\Vert d\Vert \sum _{j=1}^n\left|d_j\right|\le \beta n{\Vert d\Vert }^2$$
从而
$$g_i\left(x_k+d\right)=g_i\left(x_k\right)+\sum _{j=1}^n{G}_{ij}\left(x_k\right)d_j+O\left({\Vert d\Vert }^2\right)$$
即$g(x_k+d)$在点$x_k$的Taylor展开式(10)成立。
若取$d=-h_k=x^{\ast }-x_k$，(10)式为
$$g^{\ast }=g_k-G_k{h}_k+O(\Vert h_k{\Vert }^2)=0\text{\hspace{1em}(12)}$$
由$G(x)$ 的连续性知，存在$x^{\ast }$的一个邻域，当$x_k$在邻域中，如果$\Vert x_k-x^{\ast }\Vert ⩽\delta$时，$G_k$正定，$G_k^{-1}$有上界，故第$k$次迭代存在。(12)式两边乘以$G_k^{-1}$，得
$$\begin{array}{rl}{G}_k^{-1}{g}_k-h_k+O\left({\Vert h_k\Vert }^2\right)& =-d_k-h_k+O\left({\Vert h_k\Vert }^2\right)\\ & =-h_{k+1}+O\left({\Vert h_k\Vert }^2\right)=0\end{array}$$
由此知存在$\gamma >0$，使
$$\Vert h_{k+1}\Vert \le \gamma {\Vert h_k\Vert }^2\text{\hspace{1em}(13)}$$
下面证明$x_{k+1}$也满足$\Vert x_{k+1}-x^{\ast }\Vert ⩽\delta$。由(13)式有
$$\Vert h_{k+1}\Vert \le \gamma {\Vert h_k\Vert }^2\le \gamma \delta \Vert h_k\Vert$$
只要$x_k$充分接近$x^{\ast }$可以保证$\gamma \delta <1$，故
$$\Vert x_{k+1}-x^{\ast }\Vert =\Vert h_{k+1}\Vert <\Vert h_k\Vert \le \delta$$
则$x_{k+1}$也在此邻域中，第$k+1$次迭代有意义。由数学归纳法知，方法对所有$k$有定义，且$\Vert h_{k+1}\Vert ⩽(\gamma \delta {)}^{k+1}\Vert h_0\Vert$，故$\Vert h_k\Vert \to 0$。基本Newton迭代收敛，由(13)式知方法二阶收敛。
该定理给出了基本Newton法的局部收敛性，也就是说，只有当迭代点充分接近$x^{\ast }$时，基本Newton法的收敛性才能保证。

共轭方向法-二次终止性

共轭方向法就是采用一组共轭方向作为连续搜索方向的优化方法。共轭方向法的推导过程和牛顿法一样，也是先基于二次目标函数，然后推广到一般目标函数的。

子空间扩展定理

设$G$为$n\times n$对称正定矩阵，$d_0,d_1,\cdots ,d_{n-1}$为$G$的共轭向量组，对于
$$f\left(x\right)=\frac{1}{2}{x}^{T}Gx+b^{T}x$$
由任意$x_0$出发，依次沿直线$x_k+\lambda d_k$作精确线搜索得${\lambda }_k(k=0,\cdots ,n-1)$，则
$$g_k^T{d}_j=0,j=0,\cdots ,k-1$$
其中$g_k=G{x}_k+b$，且$x_k$是$f(x)$在集合
$$X_k=\left\{x\mid x\in {\mathbb{R}}^n,x=x_0+\sum _{j=0}^{k-1}{\alpha }_j{d}_j,{\alpha }_j\in \mathbb{R},j=0,\cdots ,k-1\right\}$$
上的极小点。特别地，$x_n$是$f(x)$在${\mathbb{R}}^n$中的极小点。

$\mathbf{prof}:$ 对于定理的第一个结论，由精确线搜索的结果知
$$\begin{gathered} {\lambda }_k=\arg \underset{\lambda }{\min }f\left(x_k+\lambda d_k\right) \\ \Rightarrow \frac{df\left(x_k+\lambda d_k\right)}{d\lambda }{\mid }_{\lambda ={\lambda }_k}=\nabla f^T\left(x_k+{\lambda }_k{d}_k\right)d_k=0\Rightarrow g_{k+1}^T{d}_k=0 \end{gathered}$$
注意到$g_i=G{x}_i+b{x}_{i+1}-x_i={\lambda }_i{d}_i$
$$\begin{array}{l}{g}_k=g_{j+1}+{\sum }_{i=j+1}^{k-1}\left(g_{i+1}-g_i\right)=g_{j+1}+G{\sum }_{i=j+1}^{k-1}\left(x_{i+1}-x_i\right)\\ =g_{j+1}+G{\sum }_{i=j+1}^{k-1}{\lambda }_i{d}_i\\ g_k^T{d}_j=g_{j+1}^T{d}_j+{\sum }_{i=j+1}^{k-1}{\alpha }_i{d}_i^{T}G{d}_j=0\end{array}$$
对于定理的第二个结论，只需证明$\forall x\in X_k,f\left(x\right)\ge f\left(x_k\right)$

注意到
$$x_k=x_0+\sum _{j=0}^{k-1}{\lambda }_j{d}_j,x=x_0+\sum _{j=0}^{k-1}{\alpha }_j{d}_j,\forall x\in X_k$$
注意到$G$的正定性和第一条结论，有
$$\begin{array}{l}f\left(x\right)=f\left(x_k\right)+{\left(x-x_k\right)}^T{g}_k+\frac{1}{2}{\left(x-x_k\right)}^{T}G\left(x-x_k\right)\\ ⩾f\left(x_k\right)+{\left(x-x_k\right)}^T{g}_k=f\left(x_k\right)+{\sum }_{j=0}^{k-1}\left({\alpha }_j-{\lambda }_j\right)d_j^T{g}_k=f\left(x_k\right)\end{array}$$

共轭梯度法

共轭梯度法的基本原理：在寻优过程中利用当前点$x_k$处的梯度向量和前一点$x_{k-1}$处的搜索方向$d_{k-1}$对最速下降方向进行如下修正
$$d_k=-\nabla f(x_k)+{\beta }_k{d}_{k-1}$$
并保证新的搜索方向$d_k$和之前的搜索方向满足共轭关系。

对正定二次函数的共轭梯度法

共轭方向是根据正定二次函数$f\left(x\right)=\frac{1}{2}{x}^{T}Gx+b^{T}x$的梯度来构造的。

取$d_0=-g_0$。假定已求出关于$G$共轭的方向$d_0,d_1,\cdots ,d_{k-1}$，下面求$d_k$，使其与$d_0,d_1,\cdots ,d_{k-1}$共轭。

由子空间扩展定理知，$d_k,g_k$均不在$d_0,d_1,\cdots ,d_{k-1}$张成的子空间内，$g_k$可与$d_0,d_1,\cdots ,d_{k-1}$张成一个$k+1$维子空间，故取$d_k$为$g_k,d_0,d_1,\cdots ,d_{k-1}$的线性组合，其中$g_k$的系数取为$-1$，则
$$d_k=-g_k+\sum _{i=0}^{k-1}{\beta }_i^{\left(k-1\right)}{d}_i$$
确定系数${\beta }_0^{(k-1)},\cdots ,{\beta }_{k-1}^{(k-1)}$使得
$$d_k^{T}G{d}_j=0,j=0,\dots ,k-1$$
代入得
$${\left(-g_k+\sum _{i=0}^{k-1}{\beta }_i^{\left(k-1\right)}{d}_i\right)}^{T}G{d}_j=0$$
由$d_i,d_j(i\ne j)$的共轭性得
$${\beta }_j^{\left(k-1\right)}=\frac{g_{k}G{d}_j}{d_i^{T}G{d}_j},j=0,\dots ,k-1$$
下面证明${\beta }^{(k-1{)}_j}=0(j=0,\dots ,k-2)$，从而化简式子

$$\begin{array}{l}{x}_{j+1}-x_j={\lambda }_j{d}_j\left(\lambda j>0\right),g_j=G{x}_j+b\\ {\lambda }_j{g}_k^{T}G{d}_j=g_k^{T}G\left(x_{j+1}-x_j\right)=g_k^T\left(g_{j+1}-g_j\right)\\ \because g_k^T{g}_j=0,j=0,\dots ,k-1\\ \therefore g_k^T\left(g_{j+1}-g_j\right)=\{\begin{array}{ll}0,& j=0,\dots ,k-2\\ g_k^T\left(g_k-g_{k-1}\right),& j=k-1\end{array}\\ \Rightarrow {\beta }_j^{\left(k-1\right)}=0\left(j=0,\dots ,k-2\right)\\ \therefore d_k=-g_k+{\beta }_{k-1}^{\left(k-1\right)}{d}_{k-1}\end{array}$$
由精确线搜索的结果，对${\beta }_{k-1}^{(k-1)}$表达式分子分母同乘${\lambda }_{k-1}$
$$\begin{array}{l}{\lambda }_{k-1}{d}_{k-1}^{T}G{d}_{k-1}=d_{k-1}^T\left(g_k-g_{k-1}\right)=-d_k^T{g}_{k-1}\\ ={\left(g_{k-1}-{\beta }_{k-2}^{\left(k-2\right)}{d}_{k-2}\right)}^T{g}_{k-1}\\ =g_{k-1}^T{g}_{k-1}(k⩾2)\end{array}$$
对$k=1$，有
$${\lambda }_0{d}_0^{T}G{d}_0=d_0^T(g_1-g_0)=g_0^T{g}_0$$

$$\Rightarrow {\beta }_{k-1}^{\left(k-1\right)}=\frac{g_k^T\left(g_k-g_{k-1}\right)}{g_{k-1}^T{g}_{k-1}}$$

共轭梯度方法的性质

考虑正定二次函数
$$f\left(x\right)=\frac{1}{2}{x}^{T}Gx+b^{T}x$$
对任意初始点$x_0$，取$d_0=-g_0$，采用精确线搜索的共轭梯度法具有二次终止性；对所有$0⩽k⩽m,m<n$，下列关系成立：

共轭方向：$d_k^{T}G{d}_i=0,i=0,\cdots ,k-1$

正交向量：$g_k^T{g}_i=0,i=0,\cdots ,k-1$

下降性：$d_k^T{g}_k=-g_k^T{g}_k$

以及
s p a n { g 0 , ⋯   , g k } = s p a n { g 0 , G g 0 , ⋯   , G k g 0 } s p a n { d 0 , ⋯   , d k } = s p a n { g 0 , G g 0 , ⋯   , G k g 0 } {\rm span}\{g_0,\cdots,g_k\}={\rm span}\{g_0,Gg_0,\cdots,G^kg_0\}\\ {\rm span}\{d_0,\cdots,d_k\}={\rm span}\{g_0,Gg_0,\cdots,G^kg_0\} span{g0​,⋯,gk​}=span{g0​,Gg0​,⋯,Gkg0​}span{d0​,⋯,dk​}=span{g0​,Gg0​,⋯,Gkg0​}
证明：由$g_k^T{d}_j=0,j=0,\cdots ,k-1$和$d_k=-g_k+{\sum }_{i=0}^{k-1}{\beta }_i^{\left(k-1\right)}{d}_i$可得
$$g_k^T{g}_i=g_k^T(-d_i+\sum _{j=0}^{k-1}{\beta }_j^{\left(k-1\right)}{d}_j)=0$$
由共轭梯度方法的定义有
$$d_k^T{g}_k=(-g_k+{\beta }_{k-1}{d}_{k-1}{)}^T{g}_k=-g_k^T{g}_k<0$$
由数学归纳法证明剩余结论，当$k=0$时，成立

假设对于$k=j(1⩽j<m)$成立
g j ∈ s p a n { g 0 , G g 0 , ⋯   , G j g 0 } d j ∈ s p a n { g 0 , G g 0 , ⋯   , G j g 0 } g_j\in {\rm span}\{g_0,Gg_0,\cdots,G^j g_0\}\\ d_j\in {\rm span}\{g_0,Gg_0,\cdots,G^j g_0\} gj​∈span{g0​,Gg0​,⋯,Gjg0​}dj​∈span{g0​,Gg0​,⋯,Gjg0​}
由后一式
G d j ∈ s p a n { G g 0 , G 2 g 0 , ⋯   , G j + 1 g 0 } Gd_j\in {\rm span}\{Gg_0,G^2g_0,\cdots,G^{j+1} g_0\} Gdj​∈span{Gg0​,G2g0​,⋯,Gj+1g0​}
再由$x_{j+1}=x_j+{\lambda }_j{d}_j$得$G{x}_{j+1}=G{x}_j+{\lambda }_{j}G{d}_j$，从而$g_{j+1}=g_j+{\lambda }_{j}G{d}_j$

这说明 g j + 1 ∈ s p a n { g 0 , G g 0 , ⋯   , G j + 1 g 0 } g_{j+1}\in {\rm span}\{g_0,Gg_0,\cdots,G^{j+1} g_0\} gj+1​∈span{g0​,Gg0​,⋯,Gj+1g0​}

由归纳假设知
s p a n { g 0 , ⋯   , g j + 1 } ⊆ s p a n { g 0 , G g 0 , ⋯   , G j + 1 g 0 } {\rm span}\{g_0,\cdots,g_{j+1}\}\subseteq {\rm span}\{g_0,Gg_0,\cdots,G^{j+1}g_0\} span{g0​,⋯,gj+1​}⊆span{g0​,Gg0​,⋯,Gj+1g0​}
由归纳假设有
G j + 1 g 0 = G ( G j g 0 ) ∈ s p a n { G d 0 , G d 1 , ⋯   , G d j } G^{j+1}g_0=G(G^jg_0)\in {\rm span}\{Gd_0,Gd_1,\cdots,Gd_j\}\\ Gj+1g0​=G(Gjg0​)∈span{Gd0​,Gd1​,⋯,Gdj​}
由$g_{i+1}=g_i+{\lambda }_{i}G{d}_i$得$G{d}_i=\frac{g_{i+1}-g_i}{{\lambda }_i}(i=0,\cdots ,j)$，则
G j + 1 g 0 ∈ s p a n { g 0 , ⋯   , g j + 1 } G^{j+1}g_0\in{\rm span}\{g_0,\cdots,g_{j+1}\} Gj+1g0​∈span{g0​,⋯,gj+1​}
由上式和归纳假设知
s p a n { g 0 , G g 0 , ⋯   , G j + 1 g 0 } ⊆ s p a n { g 0 , ⋯   , g j + 1 }    ⟹    s p a n { g 0 , G g 0 , ⋯   , G j + 1 g 0 } = s p a n { g 0 , ⋯   , g j + 1 } {\rm span}\{g_0,Gg_0,\cdots,G^{j+1}g_0\}\subseteq{\rm span}\{g_0,\cdots,g_{j+1}\}\\ \implies {\rm span}\{g_0,Gg_0,\cdots,G^{j+1}g_0\}={\rm span}\{g_0,\cdots,g_{j+1}\} span{g0​,Gg0​,⋯,Gj+1g0​}⊆span{g0​,⋯,gj+1​}⟹span{g0​,Gg0​,⋯,Gj+1g0​}=span{g0​,⋯,gj+1​}
由$d_{j+1}=-g_{j+1}+{\beta }_j{d}_j$和归纳假设有
s p a n { d 0 , ⋯   , d j , d j + 1 } = s p a n { d 0 , ⋯   , d j , g j + 1 } = s p a n { g 0 , ⋯   , g j , g j + 1 } = s p a n { g 0 , ⋯   , G j g 0 , G j + 1 g 0 } {\rm span}\{d_0,\cdots,d_j,d_{j+1}\}={\rm span}\{d_0,\cdots,d_j,g_{j+1}\}\\ ={\rm span}\{g_0,\cdots,g_j,g_{j+1}\}={\rm span}\{g_0,\cdots,G^jg_0,G^{j+1}g_0\} span{d0​,⋯,dj​,dj+1​}=span{d0​,⋯,dj​,gj+1​}=span{g0​,⋯,gj​,gj+1​}=span{g0​,⋯,Gjg0​,Gj+1g0​}

拟牛顿法

利用一阶导数信息来逼近二阶Hessian矩阵信息，则称为拟牛顿法。
$$\begin{array}{l}f\left(x\right)\approx f\left(x_{k+1}\right)+g_{k+1}^T\left(x-x_{k+1}\right)+\frac{1}{2}{\left(x-x_{k+1}\right)}^T{H}_{k+1}\left(x-x_{k+1}\right)\\ g\left(x\right)\approx g_{k+1}+H_{k+1}\left(x-x_{k+1}\right)=0\end{array}$$
令$x=x_k,s_k=x_{k+1}-x_k,y_k=g_{k+1}-g_k$，可得$H_{k+1}^{-1}{y}_k\approx s_k\to G_{k+1}{y}_k=s_k$(拟牛顿方程)，也可用下述公式$B_{k+1}{s}_k=y_k$表示。通过求解$y_k$获得下次迭代的方向。

变尺度法的基本思想：利用尺度矩阵近似Hesse矩阵的逆矩阵，避免了求Hesse矩阵逆矩阵的计算，通过不断校正更新，使得尺度矩阵逼近Hesse矩阵的逆矩阵。

• 对于凸二次函数，寻优过程中如果都使用精确一维搜索方法获得最佳步长，则下降方向关于H共轭

DFP方法

1. 初始化：给定$x_0\in R^n,H_0\in R^{n\times n}$为对称正定矩阵，$\epsilon >0,k=0$
2. 第k步迭代：
   1. 若$\Vert g_k\Vert ⩽\epsilon$，终止
   2. 计算$d_k=-H_k{g}_k$
   3. 计算步长${\lambda }_k$
   4. $s_k={\lambda }_k{d}_k,x_{k+1}=x_k+s_k,y_k=g_{k+1}-g_k,H_{k+1}=H_k+\frac{s_k{s}_k^T}{s_k^T{y}_k}-\frac{H_k{y}_k{y}_k^T{H}_k}{y_k^T{H}_k{y}_k}$
   5. $k++$

BFGS方法

$$\begin{gathered} d_k=-B_k{g}_k \\ {B}_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{s}_k}-\frac{B_k{s}_k{s}_k^T{B}_k}{s_k^T{B}_k{s}_k} \end{gathered}$$

二次终止性

在非线性目标函数中，正定二次函数具有相当好的性质，这类函数简单、光滑、具有唯一极小点．另外，在极小点附近，一般函数可以用正定二次函数很好地近似．因此能否有效地求得正定二次函数的极小点，是检验一算法好坏的标准之一，对于一个算法，如果它对任意正定二次函数，从任意初始点出发，可以经有限步迭代求得极小点，我就说该算法具有二次终止性．在下面的章节中，我们会讨论具体方法的二次终止性．