最优化学习笔记（十四）——共轭梯度法

    共轭梯度法不需要预先给定$\boldsymbol{Q}$共轭方向，而是随着迭代的进行不断产生$\boldsymbol{Q}$共轭方向。在每次的迭代中，利用上一个搜索方向和目标函数在当前迭代点的梯度向量 之间的线性组合构造一个新的方向，使其与前边已经产生的搜索方向组成$\boldsymbol{Q}$共轭方向。对于一个$n$维二次型函数，沿着$\boldsymbol{Q}$共轭方向进行搜索，经过$n$次迭代，即可得到极小点。
    考虑二次型函数：

$$f(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{Qx}-\boldsymbol{x}^T\boldsymbol{b}, \boldsymbol{x} \in \mathbb{R}^n$$
其中， $\boldsymbol{Q} = \boldsymbol{Q}^T > 0$。初始点 $\boldsymbol{x}^{(0)}$，搜索方向采用最速下降法的方向，即函数 $f$在 $\boldsymbol{x}^{(0)}$处梯度的负方向，即：

$$\boldsymbol{d}^{(0)} = - \boldsymbol{g}^{(0)}$$
产生下一个迭代点：

x(1)=