共轭方向法和共轭梯度法

共轭方向法是介于最速下降法和Newton法之间的一种方法。克服了最速下降法的锯齿现象，从而提高了收敛速度；同时，共轭方向法的迭代公式比较简单，不必求目标函数的Hesse矩阵，比Newton法减少了计算量和存储量。是一种比较实用而且有效的方法。
在讲共轭方向法和共轭梯度法之前，先对共轭向量进行说明。

共轭向量及其性质

定义1：(共轭方向) $Q$是 $n\times n$ 对称正定矩阵，若 $n$ 维向量空间中的非零向量 $p_0，p_1，···，p_{m-1}$ 满足

$$p_i^TQp_j=0，\ \ \ \ \ i，j=0，1，···，m-1(i\ne j)\tag1$$ 则称 $p_0，p_1，···，p_{m-1}$ 是 $Q$ 共轭向量或称向量 $p_0，p_1，···，p_{m-1}$是 $Q$ 共轭的(简称共轭)，称 $p_0，p_1，···，p_{m-1}$的方向是 $Q$ 共轭方向。
当 $Q=I(单位矩阵)$时，公式(1)变为 $$p_i^Tp_j=0，\ \ \ \ \ i，j=0，1，···，m-1(i\ne j)\tag2$$ 即向量 $p_0，p_1，···，p_{m-1}$互相正交。由此可见，正交是共轭的一种特殊情况，共轭是正交的推广。
定理1： 若非零向量 $p_0，p_1，···，p_{m-1}$是 $Q$共轭的，则他们是线性无关的。
推论1： 在n维的向量空间中，非零的共轭向量个数不超过n。
定义2： 设 $p_0，p_1，···，p_{m-1}$是 $R^n$中线性无关向量， $x_0\in R^n$，那么由形式为 $$z=x_0+\sum\limits_{i=0}^{m-1}\alpha_ip_i\ \ \ \ 其中\alpha_1，\alpha_2，···，\alpha_{m-1}是任意实数$$ 的向量构成的集合为由点 $x_0$和向量 $p_0，p_1，···，p_{m-1}$所生成的 线性流行。记为 $L[x_0;p_0,p_1,···,p_{m-1}]$。

基本思想

在考虑普通函数之前，我们首先用2元正定二次函数进行讲解。首先考虑如下的正定二次函数

$$f(x)=\frac12x^TQx+b^Tx+c\tag3$$ 要求的目标函数 $f(x)$的最优值，根据最速下降法的思想，我们首先选定一个初始点 $x_0$，然后沿着该点的最速下降方向 $p_0=-\nabla f(x_0)$做直线搜索，得到点 $x_1$，由最速下降法的性质可知 $$\nabla f(x_1)^Tp_0=0\tag4$$ 即 $p_0$与点 $x_1$出的等值线相切。
在第二次迭代过程中我们不适用 $-\nabla f(x_1)$作为这次迭代的搜索方向，我们想直在第二次迭代之后能直接到达最优点 $x^*$，那么这次的迭代方向 $p_1$应该满足什么条件呢？
首先根据迭代公式我们有 $$x^*=x_1+t_1p_1\tag5$$ 其中t_1是最优步长因子,显然在未到达最优点 $x^*$之前， $t_1$是不等于0的。对目标函数求梯度，有 $$\nabla f(x)=Qx+b\tag6$$ 对于极小点 $x^*$，我们有 $$\begin{align}\nabla f(x^*)&=Qx^*+b=0\\ &=Q(x_1+t_1p_1)+b\\ &=Qx_1+b+Qt_1p_1\\ &=\nabla f(x_1)+Qt_1p_1\\ &=0\end{align}$$ 即 $$\nabla f(x_1)+Qt_1p_1=0$$ 在上式两边同乘以 $p_0^T$，由于公式(4)，并且 $t_1\ne 0$我们可以得到 $$\begin{align}p_0^T\nabla f(x_1)+t_1p_0^TQp_1&=&p_0^T0\\ =>t_1p_0Qp_1&=&0\tag7\end{align}$$ 由公式(7)我们知道， $p_0$和 $p_1$为 $Q$的共轭向量。
现在我们假设

p1=−∇f(