数值最优化—无约束问题共轭梯度法

一、参考

《数值最优化算法与理论》

二、前言

Newton法和拟Newton法算法具有较快的收敛速度。但算法需要储存矩阵$B_k$。因而，在求解大规模问题时遇到困难。

最速下降法具有存储量少的特点。但该算法收敛速度慢。

下面求解无约束问题的共轭梯度法。该算法具有存储量少且收敛速度较快的特点。

三、二次函数极小化问题的共轭方向法

二次函数极小化问题：
$$minf(x)=\frac{1}{2}{x}^{T}Qx+q^{T}x$$
其中，$Q\in R^{n\times n}$对称正定，$q\in R^n。x\in R^n。f:R^n\to R$。

1、向量组共轭

设$A\in R^{n\times n}$对称正定，$d^{(1)},d^{(2)},\cdot \cdot \cdot ,d^{(m)}$是$R^n$中的非零向量。若对$i,j=1,2,\cdot \cdot \cdot ,m$，有：
$$d^{(i)T}A{d}^{(j)}=0,(i\ne j)$$
则称向量组$d^{(1)},d^{(2)},\cdot \cdot \cdot ,d^{(m)}$关于矩阵$A$相互共轭。

由共轭向量组的定义易知，若$A=I$是单位向量，则向量组的共轭性等价于正交性。

向量正交：${\alpha }^T\beta =0$

一般地，令$p^{(i)}=A^{1/2}{d}^{(i)}$。

实对称正定矩阵存在平方根的证明：证明

则向量组$d^{(1)},d^{(2)},\cdot \cdot \cdot ,d^{(m)}$关于矩阵$A$相互共轭等价于向量组$p^{(i)},(i=1,2,\cdot \cdot \cdot ,m)$相互正交。因此共轭是正交概念的推广。

定理：设$A\in R^{n\times n}$对称正定。非零向量组$d^{(1)},d^{(2)},\cdot \cdot \cdot ,d^{(m)}\in R^{n\times n}$关于矩阵$A$相互共轭。则$d^{(1)},d^{(2)},\cdot \cdot \cdot ,d^{(m)}$线性无关。（即共轭向量组线性无关。）

2. 二次函数极小值问题的共轭方向法

求解思想：从某个初始点$x^{(0)}$出发，依次沿关于$Q$相互共轭的$n$个方向$d^{(i)},(i=0,1,\cdot \cdot \cdot ,n-1)$进行精确线性搜索，即令：
$$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)},(k=0,1,\cdot \cdot \cdot ,n-1)$$
其中，${\alpha }_k$是下面问题的解：
$$f(x^{(k)}+{\alpha }_k{d}^{(k)})=\underset{\alpha \in R}{\min }f(x^{(k)}+\alpha d^{(k)})$$

注：由于$d^{(k)}$可能不是函数$f$在$x^{(k)}$处的下降方向，因此，上面的精确线性搜索在整个实数轴上进行。

共轭方向可用类似于Gram-Schmidt（施密特）正交化过程产生：

0. 给定线性无关向量组$p^{(0)},p^{(1)},\cdot \cdot \cdot ,p^{(n-1)}\in R^n$。令$d^{(0)}=p^{(0)},k=0$。
1. 计算：
   $$d^{(k+1)}=p^{(k+1)}-\sum _{j=0}^k\frac{d^{(j)T}Q{p}^{(k+1)}}{d^{(j)T}Q{d}^{(j)}}{d}^{(j)}$$
2. 若$k=n-2$,则停止。否则，令$k=k+1$。转1。

四、非线性共轭梯度法

求解无约束问题的非线性共轭梯度法是在求解二次函数极小值问题的共轭梯度法的基础上发展起来的。非线性共轭梯度法利用负梯度$-\nabla f(x^{(k)})$与算法的前一个方向的线性组合作为第$k$次迭代的搜索方向。且取初始方向为$-\nabla f(x^{(0)})$，即：
$$d^{(k)}=\{\begin{array}{rlr}& -\nabla f(x^{(0)}),& 若k=0\\ & -\nabla f(x^{(k)})+{\beta }_k{d}^{(k-1)},& 若k\ge 1\end{array}$$
其中，参数${\beta }_k$的确定使得算法用于求解二次函数极小值问题时，$d^{(k)}$与$d^{(k-1)}$关于$Q$相互共轭。下面给出${\beta }_k$的计算公式：
$${\beta }_k=\frac{\nabla f(x^{(k)}{)}^T[\nabla f(x^{(k)})-\nabla f(x^{(k-1)})]}{d^{(k-1)T}[\nabla f(x^{(k)})-\nabla f(x^{(k-1)})]},(k=1,2\cdot \cdot \cdot )$$
非线性共轭梯度法（HS算法）的计算步骤：

1. 取初始点$x^{(0)}\in R^n，d^{(0)}=-\nabla f(x^{(0)})$，精度$ϵ>0$。令$k=0$。
2. 若$||\nabla f(x^{(k)})||\le ϵ$，则算法终止。得问题的解$x^{(k)}$。否则，转3。
3. 由线性搜索确定步长${\alpha }_k$。
4. 令$x^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)}$。
5. 由上面确定$d^{(k+1)}$，令$k=k+1$。转2。