简介
共轭梯度法是一种求解SPD系统线性方程组的迭代方法。它本来是一种直接法,但是通过迭代法求解后,配合复杂的预条件方法,反而更受欢迎。
我们将求解
转化为求解phi(x) 的最小值
注意:A的SPD性质确保了它的唯一性。
线性搜索法
将线性求解的问题转化为求最小值的问题后,我们尝试用线性求解的方式。我们首先选择一个初始位置,不同的方法会选择不同的方向和step length。
其中,local gradient经过计算就是,这个也会被称为系统残差。
对应的步长如下
但是我们认为最速梯度下降法zigzag的路线并不能真正最快的找到最优解,因此想到了利用历史梯度的先验信息去解决这个问题。
共轭梯度下降法
共轭