线搜索、柯西点

目录

一，无约束可微优化问题的线搜索算法

二，单调线搜索准则

1，Armijo准则

2，Goldstein准则

3，Wolfe准则

4，强Wolfe准则

三，非单调线搜索准则

1，Grippo准则

2，ZhangHager准则

四，收敛性分析

1，Zoutendijk定理

2，线搜索算法的收敛性

五，柯西点

1，定义

2，求解

3，性质

---

本文部分内容来自教材

一，无约束可微优化问题的线搜索算法

线搜索算法：

这一类算法可以理解为由2个部分组成：步长α、方向d

步长也叫学习率。

不合适的步长，要么导致无法收敛，要么导致收敛到非最优解。

线搜索准则就是，研究步长满足什么样的条件下，最终可以收敛到最优解。

线搜索算法可以分为单调线搜索算法、非单调线搜索算法，单调指的是是否每一步都比上一步更优、单调

相应的准则也分为单调线搜索准则、非单调线搜索准则。

二，单调线搜索准则

1，Armijo准则

α=0显然就满足Armijo准则，所以Armijo准则并不是充分条件。

Armijo准则一般不单独使用，而是作为其他准则的一部分。

2，Goldstein准则

3，Wolfe准则

其中，（2b）的右边式子一定是小于0的，所以（2b）的含义是，新点处d方向的下降速度显著低于旧点处d方向的下降速度。

4，强Wolfe准则

Wolfe准则的（2b）没有限定左边式子的上界，强Wolfe准则做出了修正：

三，非单调线搜索准则

1，Grippo准则

2，ZhangHager准则

四，收敛性分析

1，Zoutendijk定理

2，线搜索算法的收敛性

五，柯西点

1，定义

函数f(x)在处的二阶近似可以表示成：

或者表示成：

那么，函数 在范围内的最小值对应的点，叫柯西点。

即柯西点

2，求解

当时这是一个关于t的二次函数，对称轴是，其中分子大于等于0恒成立。

所以可以分成两种情况：

（1）

当时取到最小值

（2）

对称轴，所以当时取到最小值

3，性质

柯西点其实就是近似函数沿着原函数的最速下降方向在有限范围内能找到的最优值。

4，下降幅度

这个式子应该只需要把柯西点求解出的tk代入表达式就出来了，我没具体验证。