漫步最优化三十五——共轭

$\textbf{我对你的喜欢像玻璃，}$
$\textbf{透明的能被你看穿。}$
$\textbf{我对你的思念像影子，}$
$\textbf{傍晚时分就被拉长。}$
$\textbf{我愿意顶着大太阳，}$
$\textbf{为了给你撑伞。}$
$\textbf{我愿意奉献我肩膀，}$
$\textbf{为了给你依靠。}$
$\textbf{牵着你瞎逛，}$
$\textbf{牵着你分享美食，}$
$\textbf{牵着你走遍世界。}$
$\textbf{——畅宝宝的傻逼哥哥}$

对于前面描述的多维优化方法，每次迭代搜索的方向依赖于目标函数的局部特性，虽然相邻搜索方向可能存在关系，但是这个关系是随机的。接下来我们介绍的方法中相邻的搜索方向严格满足某种数学关系，其中最重要的一类方法是基于共轭方向的。

与牛顿法类似，共轭方向法发展于二次优化问题，然后扩展到一般的优化问题。对于二次问题，只需要有限的迭代次数就能达到收敛。

其实很多类型的问题应用共轭方向法都非常有效，并且在以前已经被广泛使用，下面是四类最重要的这类方法：

• 共轭梯度法
• Fletcher-Reeves法
• Powell法
• Partan法

接下里会介绍涉及到的主要原则以及基于这些方法的算法。