[工程优化]共轭方向法(Conjugate direction method)的共轭梯度法(Conjugate gradient method)实现【附python代码】

---

引用

Wikipeidia:Conjugate gradient method

Preliminaries

梯度与梯度下降

1. 对于一维函数$f(x)$，其导数定义为：
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
2. 对于多维函数$f(x_1,...,x_n)$，对$x_i$求导数$\frac{df}{d{x}_i}$，将其记为偏导数$\frac{\partial f}{\partial x_I}$。特别的，记录梯度$▽f(x)$或简记为$▽f$为对$x_i$求偏导后的列向量：
   $$g(x)=▽f(x)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_1}{)}^T$$
3. 梯度下降

参见：[工程优化]梯度下降(Gradient descent):SGD/BGD

矩阵(半)正定

设有$x^{T}Ax$对 $\forall x=(x_1,\cdots ,x_n{)}^T$都有$x^{T}Ax>0$，则称矩阵$A$是正定矩阵；若都有$x^{T}Ax\ge 0$，则称其为半正定矩阵。

同时，若一个矩阵$A$正定，则$A$的特征值均为正数(半正定则为大于零的数)，一定存在逆矩阵$A^{-1}$。

线性方程组

设有对称、正定矩阵$A\in {\mathbb{R}}^{n\times n}$和非零列向量$x,b\in {\mathbb{R}}^n$满足$Ax=b$，称其为一个线性方程组(System of Linear Equations)。将其唯一解记为$x^{\ast }$。

正交向量

若非零列向量$a,b\in {\mathbb{R}}^n$满足$a^{T}b=0$，则将这两个向量互为正交向量。当其正交，则其在空间上互为垂直的两个向量。

Tip：亦有文献将其称为直交。

共轭方向及共轭方向组

1. 如果对于非零列向量$u,v\in {\mathbb{R}}^n$存在 $n\times n$ 对称、正定矩阵$A$使得：
   $$u^{T}Av=0$$则称$u,v$为关于$A$的共轭方向。

众所周知，矩阵可以看作是一种运动、映射，当$u,v$关于$A$共轭时，实际上是值当$u,v$经过对称正定矩阵$A$的运动之后在空间上互相垂直(正交)。
特别的，当$A$取得单位阵时，实际上下文提到的二阶拟合函数就是一个圆球，共轭方向为过圆心且互相垂直的若干组直径。

2. 设对于非零向量 p i ， p j ∈ p ^ = { p 1 , ⋯   , p n } p_i ，p_j\in \hat p= \{ p_1, \cdots, p_n \} pi​，pj​∈p^​={ p1​,⋯,pn​} 且 $p_i,p_j\in {\mathbb{R}}^n$，若$p_i^{T}A{p}_j=0$ $(i=/j)$，则称$p_1,\cdots ,p_n$是关于$A$相互共轭的一组共轭方向组。

引理：非0共轭方向组显然线性无关。(可用反证法证明)
证明：设有一组标量${\alpha }_i$使得$\sum {\alpha }_i{p}_i=0$，则 ∀ k , p k ∈ p ^ = { p 1 , ⋯   , p n } \forall k,p_k \in \hat p=\{ p_1, \cdots, p_n\} ∀k,pk​∈p^​={ p1​,⋯,pn​}，有：
$$\begin{array}{rl}{p}_k^{T}A\sum {\alpha }_i{p}_i& =0\\ {\alpha }_k{p}_k^{T}A{p}_k& =0\end{array}$$

∵ 矩阵$A$正定有 $p_k^{T}A{p}_k>0$，$\therefore {\alpha }_k=0$

牛顿法(Newton’s method)

牛顿法是对二阶泛函的近似求解。

Ref：[工程优化]牛顿法的缺陷及拟牛顿法(Newton’s method)

由于共轭方向法同样采用了用二次泛函拟合函数极值微分点的做法，因此理解牛顿法对理解共轭方向法及其有效性有直接帮助。

换句话说，一般情况下，在极值点附近，原目标函数可以近似于一个二次函数。当我们对二次函数建立一个有效的模型，那么，它对非二次模型也应当是有效的。（ps:要注意，不是所有函数都可以很好地用二次函数拟合。）

>返回目录

---

共轭方向法

共轭方向法是一种介于梯度下降法和牛顿法之间的算法，它不像牛顿法一样需要二阶导数，又避免了梯度下降中的锯齿现象。

从几何出发说明共轭方向法的有效性

注：这一小节偏向白话，是比较形而上的理解内容。可以选择性阅读。

考虑$n$维空间上的二次函数$\varphi (x)$，它应当是一个超椭球体：
$$\begin{array}{rl}\varphi (x)\approx f(x)& =\frac{1}{2}{x}^{T}Ax+b^{T}x+c\\ ▽\varphi (x)& =Ax+b^T\\ {▽}^2\varphi (x)& =A\end{array}$$

其中，