非线性优化-最优化问题之共轭梯度法

$主要摘自《非线性优化》$
\qquad 共轭方向法的意义在于加快最速下降法的收敛速度，避免牛顿方法的大量计算。最初是为了解决
$$\begin{gathered} minimizef(x)=\frac{1}{2}{x}^{{}^{\prime }}Qx-b^{{}^{\prime }}x \\ subjecttox\in {\Re }^n \end{gathered}$$其中Q是正定的。或者等价的求解线性系统
$$Qx=b$$ \qquad (很多函数都可以用二次函数很好地近似)共轭方向法最多经过$n$次迭代就能得到该问题的解，通常少于$n$次也能的到足够精确的解。也可以用来解决非二次最优化问题，但一般不会在有限次迭代后终止。
\qquad 共轭方向法的主要思想是在逐渐扩张的线性流形上逐步最小化$f$，而最终的线性流形将包括$f$的全局最小值点，对于每一个$k$，$x^{k+1}$在经过$x^0$且由共轭方向$d^0,...,d^k$张成的线性流形上最小化$f$。
\qquad 给定一个正定$n\times n$矩阵Q，若非零向量$d^1,...,d^n$是Q-共轭的，则
$$d^{i^{\prime }}Q{d}^j=0,i̸=j$$即如果变量是Q-共轭的那么他们是线性无关的。与其他迭代法相同其步骤为
$$x^{k+1}=x^k+{\alpha }^k{d}^k$$ \qquad 其中，${\alpha }^k$通过线性最小化步长准则得到
$$(x^k+{\alpha }^{}{d}^k)=\underset{\alpha }{\min }f(x^k+\alpha d^k)$$ \qquad 尤其$f(x^k+\alpha d^k)$关于$\alpha$的偏导数为0，得到
$$0=\frac{\partial f(x^k+{\alpha }^{}{d}^k)}{\partial \alpha }=d^{k^{\prime }}\nabla f(x^k+{\alpha }^{}{d}^k)=d^{k^{\prime }}(Q(x^k+{\alpha }^{}{d}^k)-b)$$从而
$${\alpha }^k=\frac{d^{k^{\prime }}(b-Q{x}^k)}{d^{k^{\prime }}Q{d}^k}$$ \qquad 生成Q-共轭方向 对任意给定的一个线性无关向量组${\xi }^0,...,{\xi }^k,$使用$Gram-Schmidt$方法，构造一组相互Q-共轭的方向$d^0,...,d^k,$，对使得所有$i=0,...,k,$满足（由$d^0,...,d^i,$张成的子空间）=（由${\xi }^0,...,{\xi }^i,$张成的子空间）。该方法从下式开始首先$d^0={\xi }^0$假设对于某些$i<k$，已知的到Q-共轭方向$d^0,...,d^i$，使上述关系成立，$d^{i+1}$取为
$$d^{i+1}={\xi }^{i+1}+\sum _{m=0}^i{c}^{(i+1{)}_m}{d}^m$$ \qquad 其中需要选取参数$c^{(i+1)m}$，使得$d^{i+1}$与$d^0,...,d^i$是Q-共轭的，对于$j=0,...,i,$有
$$d^{i+1^{\prime }}Q{d}^j={\xi }^{i+1^{\prime }}Q{d}^j+(\sum _{m=0}^i{c}^{(i+1{)}_m}{d}^m{)}^{{}^{\prime }}Q{d}^j=0$$ \qquad 因为$d^0,...,d^i,$是Q-共轭的，所以若$m̸=j{d}^{m^{\prime }}Q{d}^j=0$所以
$$c^{(i+1{)}_j}=-\frac{{\xi }^{i+1^{\prime }}Q{d}^j}{d^{j^{\prime }}Q{d}^j},j=0,...,i.$$ \qquad 共轭梯度法 共轭梯度法是最重要的共轭方向法，该方法基于梯度方向${\xi }^0=-g^0,...,{\xi }^{n-1}=-g^{n-1}$使用$Gram-Schmidt$过程
$$g^k=\nabla f(x^k)=Q{x}^k-b$$则
$$d^k=-g^k+\sum _{j=0}^{k-1}\frac{g^{k^{\prime }}Q{d}^j}{d^{j^{\prime }}Q{d}^j}{d}^j$$其中，$d^0=-g^0$。当$g^k=0$时，该方法停止在最优解处终止。共轭梯度法的方向由下式生成
$$\begin{gathered} d^0=-g^0, \\ {d}^k=-g^k+{\beta }^k{d}^{k-1},k=1,...,n-1, \end{gathered}$$其中${\beta }^k$由下式给出
$${\beta }^k=\frac{g^{k^{\prime }}{g}^k}{g^{k-1^{\prime }}{g}^{k-1}}$$此外该方法在最多$n$次迭代之后，将终止在某个最优解处。