共轭梯度法是求解线性方程组和无约束优化的有效算法，融合了最速下降法和牛顿法的优点。它不需要计算二阶导数，存储空间小，且具有二次终止性，适用于中等规模问题。算法由Hestenes和Stiefel提出，Fletcher和Reeves将其推广到非线性优化。虽然对于非二次函数的无约束优化，超过一定步数后搜索方向可能不再共轭，但可通过重设初始点来改善。
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数
信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一.
最初是由计算数学家Hestenes和几何学家Stiefel于1952年为求正定系数矩阵线性方程组而独立提出的.他们合作的著名文章Method of conjugate gradients for solving linear systems 被认为是共轭梯度法的奠基性文章。1964年，Fletcher和Reeves将此方法推广到非线性最优化， 得到了求解一般函数极小值的共轭梯度法.共轭梯度法的收敛性分析的早期工作主要由Fletcher、 Powell、Beale等学者给出.
特点：
(1) 建立在二次模型上，具有二次终止性．
(2) 一种有效
最低0.47元/天 解锁文章
899
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
