Armijo条件，Wolfe条件，Goldstein条件

线搜索

对于迭代式$x_{k+1}=x_k+\alpha p_k$，其中$p_k$是由梯度法，牛顿法，CG法等方法计算出的下降方向，$\alpha$是下降的步长。

1. 寻找最优值$\alpha =\underset{\alpha }{\min }f(x_k+\alpha p_k)$的过程称为精确搜索
2. 如果只是想找到一个$\alpha$使得$f(x_k+\alpha p_k)$相对于$f(x_k)$有足够的下降，那么这样的过程称为非精确搜索

非精确线搜索（Armijo条件，Wolfe条件，Goldstein条件）

Armijo条件

要求$f(x_k+\alpha p_k)$相对于$f(x_k)$有足够的下降，可以写作：
$$f(x_k+\alpha p_k)\le f(x_k)+c_1\alpha \nabla f(x_k{)}^T{p}_k$$
因为$f(x_k{)}^T{p}_k<0$，所以要求$c_1>0$，但如果$c_1\ge 1$那么对于某些函数（例如强凸函数）就找不到满足不等式的解。因此上式中$c_1\in (0,1)$。

记$\varphi (\alpha )=f(x_k+\alpha p_k),l(\alpha )=f(x_k)+c_1\alpha \nabla f(x_k{)}^T{p}_k$，那么Armijo条件框定的范围如下：

实际应用中，$c_1$一般取得很小，例如$c_1=10^{-4}$

---

curvature条件

从上图不难发现只要$\alpha$足够小就会满足Armijo条件，但这样会导致下降的量不够大，为了避免$\alpha$取过小的值，又有了下面的的curvature条件：
$$\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k\ge c_2\nabla f(x_k{)}^T{p}_k$$
其中$c_2\in (c_1,1)$。

• 如果满足上式，$\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k$要么是轻微的负值（表明$x_k+{\alpha }_k{p}_k$已经趋于极小值附近），要么是正值（表明$x_k+{\alpha }_k{p}_k$已经越过了极小值），那么此时停止线搜索是合理的
• 如果不满足上式，$\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k$就是负得比较多的负值，那么说明在$p_k$方向$f$还有比较大的下降空间，可以继续搜索更优的$\alpha$值

上式等价于${\varphi }^{\prime }({\alpha }_k)\ge c_2{\varphi }^{\prime }(0)$，因此curvature条件框住的范围为：

由上图可以看出curvature条件可以避开很小的$\alpha$。一般情况如果$p_k$是Newton或者quasi-Newton法求得的方向，那么$c_2=0.9$，如果$p_k$是非线性CG法求得的，那么$c_2=0.1$。

---

Wolfe条件，强Wolfe条件

Wolfe条件 = Armijo条件 + curvature条件
$$\begin{array}{rl}f(x_k+{\alpha }_k{p}_k)& \le f(x_k)+c_1{\alpha }_k\nabla f(x_k{)}^T{p}_k\\ \nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k& \ge c_2\nabla f(x_k{)}^T{p}_k\end{array}$$
其中$0<c_1<c_2<1$

但Wolfe条件找到的$\alpha$有可能离极小值较远，比如：

因此又提出了强Wolfe条件:
$$\begin{array}{rl}f(x_k+{\alpha }_k{p}_k)& \le f(x_k)+c_1{\alpha }_k\nabla f(x_k{)}^T{p}_k\\ |\nabla f(x_k+{\alpha }_k{p}_k{)}^T{p}_k|& \le c_2|\nabla f(x_k{)}^T{p}_k|\end{array}$$
与Wolfe条件相比，强Wolfe条件不允许${\varphi }^{\prime }({\alpha }_k)$正得太大，也就是不能越过极小值太远。

(Wolfe条件存在性定理)假设$f:{\mathbb{R}}^n\to \mathbb{R}$连续可微，$p_k$是$x_k$处的下降方向，并且$f$在 { x k + α p k ∣ α > 0 } \{x_k + \alpha p_k | \alpha > 0\} {xk​+αpk​∣α>0}上有下界。如果$0<c_1<c_2<1$，那么存在一个步长区间即满足Wolfe条件也满足强Wolfe条件

Proof：因为$\varphi (\alpha )=f(x_k+\alpha p_k)$有下界，而$l(\alpha )=f(x_k)+c_1\alpha \nabla f(x_k{)}^T{p}_k$是无界减函数，因此$l(\alpha )$和$\varphi (\alpha )$一定有交点。记${\alpha }^{\prime }$为最小的交点，那么有：
$$f(x_k+{\alpha }^{\prime }{p}_k)=f(x_k)+c_1{\alpha }^{\prime }\nabla f(x_k{)}^T{p}_k$$
并且对所有小于${\alpha }^{\prime }$的值，Armijo条件都成立。

又由中值定理，存在${\alpha }^{\prime \prime }\in (0,{\alpha }^{\prime })$使得：
$$f(x_k+{\alpha }^{\prime }{p}_k)-f(x_k)={\alpha }^{\prime }\nabla f(x_k+{\alpha }^{\prime \prime }{p}_k{)}^T{p}_k$$
$$\Rightarrow \nabla f(x_k+{\alpha }^{\prime \prime }{p}_k{)}^T{p}_k=c_{1}f(x_k{)}^T{p}_k\ge c_{2}f(x_k{)}^T{p}_k$$
因此${\alpha }^{\prime \prime }$满足Wolfe条件，又由f的连续可微性，${\alpha }^{\prime \prime }$的领域也满足Wolfe条件，$c_{1}f(x_k{)}^T{p}_k$又是负值，因此该区间也满足强Wolfe条件，得证。

---

Goldstein条件

Goldstein条件如下：
$$f(x_k)+(1-c){\alpha }_k\nabla f(x_k{)}^T{p}_k\le f(x_k+{\alpha }_k{p}_k)\le f(x_k)+c{\alpha }_k\nabla f(x_k{)}^T{p}_k$$
其中$0<c<1/2$

上式的右边即为Armijo条件，而左边是为了避免找到的$\alpha$太小：

但Goldstein条件的问题是它左边的不等式有可能会将所有的极小值点排除在外。一般情况下Goldstein条件常用于Newton-type方法，但不适用于quasi-Newton方法

---

Backtracking线搜索

因为Wolfe条件的实现比较复杂，如果只是为了解决Armijo条件可能取值太小的问题，我们可以使用Backtracking线搜索：

只要初始的$\overline{\alpha }$取得足够大，那么Backtracking线搜索方法就可以找到一个足够大的满足Armijo条件的$\alpha$。

---

强Wolfe条件线搜索算法

如果要使用Wolfe条件来搜索步长，[3]中提供了如下两步式算法：

算法解释如下：

1. 如果$\varphi ({\alpha }_i)>\varphi (0)+c_1{\alpha }_i{\varphi }^{\prime }(0)$（即${\alpha }_i$不满足Armijo条件）；或者$\varphi ({\alpha }_i)>\varphi ({\alpha }_{i-1})$；或者${\varphi }^{\prime }({\alpha }_i)\ge 0$均说明${\alpha }_i$已经越过了极小值点$\varphi (\alpha )$开始上升了，因此区间$({\alpha }_{i-1},{\alpha }_i)$包含了满足强Wolfe条件的点，则转入zoom算法在区间$({\alpha }_{i-1},{\alpha }_i)$中寻找符合条件的$\alpha$
2. 如果$\varphi ({\alpha }_i)\le \varphi (0)+c_1{\alpha }_i{\varphi }^{\prime }(0)$并且$|{\varphi }^{\prime }({\alpha }_i)|\le -c_2{\varphi }^{\prime }(0)$，那么${\alpha }_i$即是满足强Wolfe条件的步长，搜索停止
3. 若上述都不符合，则迭代重复以上。一般这个位置会设置一个最大迭代次数，避免线搜寻陷在某一步一直出不来

---

Reference:

1. Numerical Optimization, Jorge Nocedal, Stephen J. Wright, 2006