《共轭梯度法》读书笔记（一）——最速下降法

求解问题

二次型 (Quadratic form)是一个形如$f(x) = \frac{1}{2}x^TAx - b^Tx + c$的标量二次方程，如果$A$是一个$n*n$对称正定阵，那么$f(x)$的最小值在$Ax=b$时取到。计算如下：

$$f'(x)=Ax-b=0$$

换一种方式，如果$x=A^{-1}b$，对任意$e \neq 0$，都有$f(x+e)>f(x)$，证明如下：

$$f(x+e) = \frac{1}{2}(x+e)^TA(x+e)-b^T(x+e)+c \\ = \frac{1}{2}x^TAx - b^Tx + c + e^TAx - b^Te + \frac{1}{2}e^TAe \\ = f(x) + \frac{1}{2}e^TAe > f(x)$$

因此，待求解的问题就是解$Ax=b$，或者等价的，求解二次型方程$f(x)$的最小值。

误差与残差

最速下降法迭代求解$Ax=b$。定义第$i$次迭代得到的解为$x_{(i)}$，随着迭代次数$i$的增加，如果算法收敛，则$x_{(i)}$将趋向于正解$x$。
定义第 i