线搜索-不精确alg 2

1. def

关键：how to choose一个好的方向$d^k$，步长${\alpha }_k$。
精确线搜索算法：断步长取什么值时，下降的最多，得到最好的步长。但耗费大量的计算量与时间的算法并不实用。
非精确线搜索算法：每次不让步长取到最优而是比较好，也就是满足一定不等式，这样就使得计算量小。

以下皆为非精确线搜索

2. 搜索准则

准则的合适与否决定了算法的收敛性

2.1 单调线搜索准则

单调：迭代点序列是单调的，因为他们的核心都是要求函数值不断下降

Armijo准则
算法：寻找一个satisfy该准则的步长，常用的是回退法。
Goldstein准则

比较Armijo：准则能去掉过小的步长
历史：196X年的时候由Armijo和Goldstein提出的

Wolfe准则

最关键的点是让步长范围包含最优步长
第二个式子几何解释为：可接受点处的切线斜率≥初始斜率的σ倍。

2.2 非单调线搜索准则

3. 搜索算法

回退法：使用于Armijo；不适用Wolfe，因无法保证找到satisfy的步长；对初值$\widehat{alpha}$和参数$\gamma$选取较敏感

多项式插值的 适用情况同回退法。

参考：
线搜索准则 好
“人话”Armijo-Goldstein准则及Wolfe-Powell