最优化方法：共轭梯度法（Conjugate Gradient）

http://blog.csdn.net/pipisorry/article/details/39891197

共轭梯度法（Conjugate Gradient）

共轭梯度法（英语：Conjugate gradient method）。是求解数学特定线性方程组的数值解的方法。当中那些矩阵为对称和正定。共轭梯度法是一个迭代方法。它适用于稀疏矩阵线性方程组，由于这些系统对于像Cholesky分解这种直接方法太大了。这种方程组在数值求解偏微分方程时非经常见。

共轭梯度法也能够用于求解无约束的最优化问题。

在数值线性代数中，共轭梯度法是一种求解对称正定线性方程组的迭代方法。

共轭梯度法能够从不同的角度推导而得，包含作为求解最优化问题的共轭方向法的特例，以及作为求解特征值问题的Arnoldi/Lanczos迭代的变种。

双共轭梯度法提供了一种处理非对称矩阵情况的推广。

基础

共轭向量