线搜索weak wolfe条件与Armijo条件

Backtracking/Armijo line search：

迭代： x k + 1 = x k − τ ▽ f ( x k ) 适用性强，收敛速率慢 τ 的选取： 固定步长： τ = c 步长逐渐减小： τ = c / k 精确线搜索： τ = a r g m i n f ( x k + α d ) 非精确线搜索（ A r m i j o 条件，较容易满足）： τ ∈ { α ∣ f ( x k ) − f ( x k + α d ) ≥ − c . α d T ▽ f ( x k ) } 迭代：x^k+1=x^k-\tau\triangledown f(x^k) \hspace{2cm} 适用性强，收敛速率慢 \\ \tau 的选取： \hspace{50cm}\\ 固定步长：\tau=c \\ 步长逐渐减小：\tau=c/k \\ 精确线搜索：\tau=argminf(x^k+\alpha d) \\ 非精确线搜索（Armijo条件，较容易满足）：\tau\in \{\alpha|f(x^k)-f(x^k+\alpha d) \ge -c . \alpha d^T\triangledown f(x^k)\} 迭代：xk+1=xk−τ▽f(xk)适用性强，收敛速率慢τ的选取：固定步长：τ=c步长逐渐减小：τ=c/k精确线搜索：τ=argminf(xk+αd)非精确线搜索（Armijo条件，较容易满足）：τ∈{α∣f(xk)−f(xk+αd)≥−c.αdT▽f(xk)}

Armijo条件

步骤：
1 、选择搜索方向： d = − ▽ f ( x k ) 2 、 w h i l e （ τ ∈ { α ∣ f ( x k ) − f ( x k + α d ) ≥ − c . α d T ▽ f ( x k ) } , τ = τ / 2. 3 、更新迭代： x k + 1 = x k + τ d 4 、结束条件：当梯度值过小 / 次梯度值包括 0 ，终止循环。 1、选择搜索方向：d=- \triangledown f(x^k)\\ 2、while（\tau\in \{\alpha|f(x^k)-f(x^k+\alpha d) \ge -c . \alpha d^T\triangledown f(x^k)\},\tau=\tau/2.\\ 3、更新迭代：x^{k+1}=x^k+\tau d \\ 4、结束条件：当梯度值过小/次梯度值包括0，终止循环。 1、选择搜索方向：d=−▽f(xk)2、while（τ∈{α∣f(xk)−f(xk+αd)≥−c.αdT▽f(xk)},τ=τ/2.3、更新迭代：xk+1=xk+τd4、结束条件：当梯度值过小/次梯度值包括0，终止循环。

weak wolfe条件：

一个合适的Line search方法，满足正定的要求，即：
$$▽g^T▽x>0$$
因此需要Wolfe 条件，其中c1保证方向是下降的，c2是保证曲率不会太小（核心在于确保斜率不断增大，抑制振荡）：
$$\begin{gathered} 0<c_1<c_2<1.经验值c_1=10^{-}4,c_2=\mathrm{0.9.} \\ f(x^k)-f(x^k+\alpha d)\ge -c_1.\alpha d^T▽f(x^k)充分下降条件 \\ {d}^T▽f(x^k+\alpha d)\ge c_2.d^T▽f(x^k)曲率条件 \end{gathered}$$

strong wolfe条件：

与weak wolfe条件的区别就在与曲率设置了绝对值的要求，可以抑制震荡。
$$\begin{gathered} 0<c_1<c_2<1.经验值c_1=10^{-}4,c_2=\mathrm{0.9.} \\ f(x^k)-f(x^k+\alpha d)\ge -c_1.\alpha d^T▽f(x^k)充分下降条件 \\ {d}^T▽f(x^k+\alpha d)\ge |c_2.d^T▽f(x^k)|曲率条件 \end{gathered}$$

A-G条件

见：https://zhuanlan.zhihu.com/p/118443321