【最优化期末复习】F-R共轭方向法

一、共轭

设 $Q$ 是 $n\times n$ 对称正定矩阵，若 $n$ 维向量空间中非零向量 ${\vec{p}}_0,{\vec{p}}_1,\cdots ,{\vec{p}}_m$ 满足：
对于任意的 i , j ∈ { 0 , 1 , 2 , ⋯   , m } ∧ i ≠ j i,j\in\{0,1,2,\cdots,m\}\wedge i\neq j i,j∈{0,1,2,⋯,m}∧i=j，如果：${\vec{p}}_i^{\mathrm{T}}Q{\vec{p}}_j=0$，则称这些向量是 $Q$ 的共轭向量。

当 $Q=E$ 时，说明向量是正交的，由此可知，正交是一种特殊的共轭。

我对线性流形的概念，感觉跟生成子空间类似，不知道这种理解对不对。。。

二、初始条件

初始点：${\vec{x}}_0$

目标函数：$f(\vec{x})$

目标函数梯度：$\vec{g}(\vec{x})=\nabla f(\vec{x})$

初始方向：${\vec{p}}_0=-{\vec{g}}_0$

三、迭代

${\vec{x}}_{k+1}={\vec{x}}_k+t_k{\vec{p}}_k$

${\vec{p}}_k=-{\vec{g}}_k+{\alpha }_{k-1}{\vec{p}}_{k-1}(k>0,k\in Z)$

${\alpha }_{k-1}=\frac{||{\vec{g}}_k|{|}^2}{||{\vec{g}}_{k-1}|{|}^2}$

对于正定二次函数，有：$t_k=\frac{{\vec{g}}_k^T{\vec{g}}_k}{{\vec{p}}_k^{T}Q{\vec{p}}_k}$

四、例子

$\min x_1^2+x_2^2-x_1^2{x}_2$，初始点 $x_0=[1,1{]}^{\mathrm{T}}$，迭代两次求 ${\vec{x}}_2$。

解：令 $f(\vec{x})=x_1^2+x_2^2-x_1^2{x}_2$，则：
$$\vec{g}(\vec{x})=\nabla f(\vec{x})=[2x_1-2x_1{x}_2,2x_2-x_1^2{]}^{\mathrm{T}}$$进而：${\vec{g}}_0=\nabla f({\vec{x}}_0)=[0,1{]}^{\mathrm{T}}$. 取 ${\vec{p}}_0=-{\vec{g}}_0$，有 ${\vec{x}}_1={\vec{x}}_0-t{\vec{g}}_0=[1,1-t{]}^{\mathrm{T}}$ $$f({\vec{x}}_1)={\varphi }_1(t)=1+(1-t{)}^2-(1-t)=(1-t{)}^2+t$$ $${\varphi }_1^{\prime }(t)=-2(1-t)+1=2t-1$$ 令 ${\varphi }_1^{\prime }(t)=0$，得：$t=\frac{1}{2}$，所以：$x_1=[1,\frac{1}{2}{]}^{\mathrm{T}}$

进而：$${\vec{g}}_1=\nabla f({\vec{x}}_1)=[1,0{]}^{\mathrm{T}}$$ $${\alpha }_0=\frac{||{\vec{g}}_1|{|}^2}{||{\vec{g}}_0|{|}^2}=1$$$${\vec{p}}_1=-{\vec{g}}_1+{\alpha }_0{\vec{p}}_0=-{\vec{g}}_1-{\vec{g}}_0=[-1,-1{]}^{\mathrm{T}}$$$${\vec{x}}_2={\vec{x}}_1+t{\vec{p}}_1=[1-t,\frac{1}{2}-t{]}^{\mathrm{T}}$$$$f({\vec{x}}_2)={\varphi }_2(t)=(1-t{)}^2+(\frac{1}{2}-t{)}^2-(1-t{)}^2(\frac{1}{2}-t)$$$${\varphi }_2^{\prime }(t)=3t^2-t-1$$令 ${\varphi }_2^{\prime }(t)=0$，得：$t=\frac{1+\sqrt{13}}{6}$，于是：${\vec{x}}_2=[\frac{5-\sqrt{13}}{6},\frac{2-\sqrt{13}}{6}{]}^{\mathrm{T}}$