运筹学（最优化理论）学习笔记 | 共轭梯度法

最近博主复习了一下无约束问题最优化算法中的共轭梯度法。无约束问题最优化方法包括最速下降法、牛顿法、共轭梯度法、拟牛顿法等等。借用书中的一句话：

无约束优化问题的求解通过一系列一维搜索来实现。因此怎样选择搜索方向是解无约束问题的核心，搜索方向的不同选择，形成不同的最优化方法

 

既然我们说到搜索方向的不同选择会形成不同的最优化算法，那么今天复习的共轭梯度法是基于共轭方向的一种算法。那么问题来了，什么是共轭方向?

其实说白了两个方向共轭和两个方向正交从某种角度来说意思差不多，只不过正交在观感上更容易被大家理解，而共轭也是两个方向之间一种特殊的关系，只不过是通过正定矩阵将这两个方向联系起来。

 

在介绍完共轭方向之后，接下来介绍共轭梯度法（简称FR法），书中说道：

共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点的梯度构造一组共轭方向，并沿这组方向进行搜索，求出目标函数的极小点

 

接下来不太想给出完整的证明，如果各位小伙伴想看完整的证明可以看