共轭方向法

共轭方向法

共轭方向法的收敛速度介于最速下降法和牛顿法之间。

1. 对于n维二次型问题，能够在n步之内得到结果；
2. 作为共轭方向法的典型代表，共轭梯度法不需要计算黑塞矩阵；
3. 两次搜索方向之间是共轭的。

对于所有的$i̸=j$，有$d^{(i)T}Q{d}^{(j)}=0$，则称它们是关于Q共轭的。

如果方向$d^{(0)},d^{(1)},...,d^{(k)}\in R^n,k⩽n-1$非零，且是关于$Q$共轭的，那么它们是线性无关的。

顺序主子式均为正数，Q矩阵为正定矩阵

基本的共轭方向算法

针对$n$维二次型函数的最小化问题：
$$f(x)=\frac{1}{2}{x}^{T}Qx-x^{T}b$$
其中，$Q=Q^T>0,x\in R^n$。由于$Q>0$，因此函数$f$有一个全局极小点，可通过求解$Qx=b$得到。

迭代公式：
$$\begin{gathered} g^{(k)}=\nabla f(x^{(k)})=Q{x}^{(k)}-b \\ {\alpha }_k=-\frac{g^{(k)}{d}^{(k)}}{d^{(k)T}Q{d}^{(k)}} \\ {x}^{(k+1)}=x^{(k)}+{\alpha }_k{d}^{(k)} \end{gathered}$$

算法过程

1. 根据给定初始点$x^{(0)}$以及一组关于$Q$共轭的一组方向$d^{(0)},d^{(1)}...$，计算$g^{(0)},{\alpha }_0$；
2. 计算$x^{(1)}$；
3. 重复1,2直到$x^{(n)}$等于函数的维数$n$。

共轭梯度法

共轭梯度法不需要预先给定$Q$共轭方向，而是随着迭代的进行不断产生$Q$共轭方向————利用上一个搜索方向和目标函数在当前迭代点的梯度向量之间的线性组合构造一个新方向，使其与前面已经产生的搜索方向组成$Q$共轭方向。

针对$n$维二次型函数的最小化问题：
$$f(x)=\frac{1}{2}{x}^{T}Qx-x^{T}b$$
其中，$Q=Q^T>0,x\in R^n$。初始点为$x^{(0)}$，搜索方向采用最速下降法的方向，即函数$f$在$x^{(0)}$处梯度的负方向，即：
$$d^{(0)}=-g^{(0)}$$
产生下一个迭代点：
$$x^{(1)}=x^{(0)}+{\alpha }_0{d}^{(0)}$$
其中，步长为：
$${\alpha }_0=arg\underset{\alpha ⩾0}{\min }f(x^{(0)}+\alpha d^{(0)})=-\frac{g^{(0)}{d}^{(0)}}{d^{(0)T}Q{d}^{(0)}}$$
将$d^{(1)}$写成$g^{(1)}$和$d^{(0)}$之间的线性组合：
$$d^{(k+1)}=-g^{(k+1)}+{\beta }_k{d}^{(k)}$$
其中，${\beta }_k=\frac{g^{(k+1)T}Q{d}^{(k)}}{d^{(k)T}Q{d}^{(k)}}$

算法过程

1. 令$k=0$；选择初始值$x^{(0)}$；
2. 计算$g^{(0)}=\nabla f(x^{(0)})$，如果$g^{(0)}=0$，停止迭代，否则，令$d^{(0)}=-g^{(0)}$；
3. 计算${\alpha }_0,x^{(1)}$；
4. 计算$g^{(1)}=\nabla f(x^{(1)})$，如果$g^{(1)}=0$，停止迭代；
5. 计算${\beta }_0$;
6. 计算$d^{(1)}$;
7. 回到3。

非二次型的共轭梯度法

最优化导论==$P_{128}$==