共轭梯度法(英语:Conjugate gradient method),是求解数学特定线性方程组的数值解的方法,其中那些矩阵为对称和正定。共轭梯度法是一个迭代方法,它适用于稀疏矩阵线性方程组,因为这些系统对于像Cholesky分解这样的直接方法太大了。这种方程组在数值求解偏微分方程时很常见。
共轭梯度法也可以用于求解无约束的最优化问题。
双共轭梯度法提供了一种处理非对称矩阵情况的推广。
方法的表述
设我们要求解下列线性系统
-
,
其中n-×-n矩阵A是对称的(也即,AT = A),正定的(也即,xTAx > 0对于所有非0向量x属于Rn),并且是实系数的。
将系统的唯一解记作x*。
最后算法
经过一些简化,可以得到下列求解Ax = b的算法,其中A是实对称正定矩阵。
- x0 := 0
- k := 0
- r0 := b
-
repeat until rk is "sufficiently small":
- k := k + 1
-
if k = 1
- p1 := r0
-
else
-
- end if
-
- xk := xk-1 + αk pk
- rk := rk-1 - αk A pk
- end repeat
- 结果为xk