【Practical】共轭

简介.

• 最早接触【共轭】概念是高中接触复数时的共轭复数，即如果$z=a+bi$，那么其共轭复数 $\overline{z}=a-bi$，其中 $a,b\in R$. 直观来看，共轭复数是关于实轴对称的。
• 轭，中文里的本意是两头牛背上的木架，能够使两头牛劳作时同步行走。共轭Conjugate则带有一种配对的意味，像一对双生子。所以一般冠以共轭的概念中都有两个对象参与。

共轭双曲线.

• 高中数学概念，两个双曲线的实轴虚轴互换，即为共轭双曲线。$$C_1:\frac{x^2}{a^2}-\frac{y^2}{b^2}=1$$ $$C_2:\frac{x^2}{a^2}-\frac{y^2}{b^2}=-1$$
• 其中 $a,b>0$，它们渐近线相同，离心率的倒数平方和为1.

共轭矩阵.

• 矩阵 $A$ 中第 $i$ 行第 $j$ 列的元素 $a_{ij}$ 与矩阵 $B$ 中第 $j$ 行第 $i$ 列的元素 $b_{ji}$ 的共轭相等，即 $$a_{ij}={\overline{b}}_{ji}$$
• 那么矩阵 $A$ 和矩阵 $B$ 互为共轭矩阵。

共轭转置.

• 是一种运算，对矩阵 $A$ 转置后每个元素再取共轭复数。

★共轭方向.

• 对于两向量 $p\in R^{n\times 1}$ 和 $q\in R^{n\times 1}$ 以及实对称正定矩阵 $A\in R^{n\times n}$，如果下式成立：$$p^{T}Aq=0$$
• 那么向量 $p$ 和 $q$ 关于 $A$ 共轭，或称向量 $p$ 和 $q$ 是 $A$ 的共轭方向。
• 特殊情况考虑 $A=E$，此时上式可以改写为 $p^{T}q=0$，即两向量点积为0，此时两向量正交。因此可以将共轭视为正交的推广。

★共轭方向法.

• 以一组共轭方向作为搜索方向来求解无约束非线性规划问题的一类下降算法。是在研究寻求具有对称正定矩阵 $Q$ 的 $n$ 元二次函数$$f(x)=\frac{1}{2}{x}^{T}Qx+bx+c$$
  最优解的基础上提出的一类梯度型算法，包含共轭梯度法和变尺度法。

根据共轭方向的性质，依次沿着对Q共轭的一组方向作一维搜索，则可保证在至多n步内获得二次函数的极小点。共轭方向法在处理非二次目标函数时也相当有效，具有超线性的收敛速度，在一定程度上克服了最速下降法的锯齿形现象，同时又避免了牛顿法所涉及的黑塞(Hesse)矩阵的计算和求逆问题。对于非二次函数，n步搜索并不能获得极小点，需采用重开始策略，即在每进行n次一维搜索之后，若还未获得极小点，则以负梯度方向作为初始方向重新构造共轭方向，继续搜索。

步骤.

1. 给定正定矩阵 $Q\in R^{n\times n}$，选取初始点 $x_0$，给定阈值 $ϵ>0$ .
2. 选取初始搜索方向 $d_0$ 使得 $\nabla f(x_0{)}^T{d}_0<0$，令 $k=0$.
3. 判断是否 $||\nabla f(x_k)||<ϵ$，若是则迭代停止，否则转第4步。
4. 一维搜索，求出 ${\lambda }_k$ 和 $x_{k+1}$，使得： $$f(x_k+{\lambda }_k{d}_k)=mi{n}_{\lambda \ge 0}f(x_k+\lambda d_k)$$ $$x_{k+1}=x_k+{\lambda }_k{d}_k$$
5. 选取新搜索方向 $d_{k+1}$ 使得：$$d_{k+1}^{T}Q{d}_j=0,j=0,1,2,...,k$$ $$k=k+1$$返回第3步