Numerical Optimization笔记--chapter3 Line Search Methods

本章主要内容以及思路：

线搜索是已经确定了下降方向p(k)后，确定合适的a(k)。使得函数在点x(k+1)=x(k)+a(k)*p(k)的函数值比在点x(k)的值要小。

合适的a(k)有两个条件：1. 保证函数收敛到最小点。2. 在有限步收敛。

1. 由此有两个经验条件wolf条件和Goldstein条件。

分别是两个子条件来保证a(k)的值不会过大也不会太小。

对于这个条件的可用性，有一个定理来保证 可微有下界的函数，必然存在步长满足wolf/Goldstein条件

2. 然后有Zendoudijk定理来保证满足wolf/Goldstein条件的步长会收敛。

3.紧接着讨论了收敛速度的问题