二阶收敛算法解析-CSDN博客

本文链接：https://blog.csdn.net/kodoshinichi/article/details/110161455

二阶收敛算法

不管是前面的最速下降法还是最优梯度法，他们都是线性(一阶)收敛的；而在本章中我们要讨论二阶收敛的优化算法。
该类算法不仅收敛速度加快，并且可以保证在有限步内找到最优解。

从理解的角度，如果一个算法可以在有限步内找到二次函数的最优解的话，我们就说这个算法是二阶收敛的。

共轭方向法

共轭方向法是一类算法的总称，用于描述那些其所有搜索方向都是相互共轭的方法。我们可以通过对前面所讨论的算法诸如【最优梯度法】进行修改得到共轭方向法。
共轭方向法的关键就是找到关于给定矩阵共轭的两个向量。

1. 评价
共轭梯度法介于最速下降法和牛顿法之间，仅需要利用一阶导数信息；客服了最速下降法“收敛速度慢”的缺点，同时也规避了牛顿法“存储和计算二阶导数，开销大”的缺点，是求解大型(非)线性最优化问题的最有效算法之一。

无需矩阵存储
有较快收敛速度
二阶收敛性

2. 一般共轭方向法
在这里插入图片描述

共轭梯度法

共轭梯度算法是一个典型的共轭方向算法，它的每一个搜索方向是互相共轭的。而这些搜索方向d_k是负梯度方向-g_k与上一次迭代的搜索方向d_k-1的组合。因此，存储量少，计算方便。
$d_k = -g_k +β_{k-1}d_{k-1}，其中β为组合系数$

1. FR共轭梯度算法（Fletcher-Reeves）
在这里插入图片描述

p.s. 之前我们讨论了共轭方向法针对正定二次函数是可以在有限步收敛到最优解的，但是上述的算法不仅适用于二次函数；
因此第三步【用当前找到的点xⁿ再替换原先的点x⁰,然后重新开始新的迭代】是必要的。

这些算法在借助计算机实现的时候，会存在计算误差，因此即使求解一个正二次函数的优化问题，也可能存在“无法在有限步收敛”的可能性，因此上述算法的第三步是完全必要的。

2. 简要理解
上述算法对于任意函数都是可行的，我们可以借助正二次函数的特例对其中的共轭方向求解思想进行验证：
在这里插入图片描述
在上文的算法中，我们使用FR公式计算得到关于给定矩阵相互共轭的两个向量，也就是FR共轭梯度算法。