《共轭梯度法》读书笔记（二）——共轭方向法

最速下降法的缺陷

上一节中已经提到了最速下降法容易走出“之”字形的路线，这些路线方向虽然都是梯度，但非常类似。如果每次的路线都是彼此正交的，那么即使没有选择局部变化率最大的梯度，也能够很快收敛到正解，如下图。

共轭方向法的intuition

这就引出了共轭方向法 (Conjugate Directions)。

一种理想但无法实现的共轭梯度法

我们选择一组正交的搜索方向，记为$d_j(j=1...n)$，每次迭代时，仅在一个$d_j$方向上迭代，即

$$x_{(i+1)} = x_{(i)} + \alpha d_i$$

我们希望一次迭代完后，以后的迭代再也不需要在$d_i$方向上修正了，因此，我们希望$d_i^T e_{(i+1)} = 0$，继续计算，得到

dTi(e(i)+αdi)=0α=−dTie(i)dTidi