机器学习笔记之优化算法(五)线搜索方法(步长角度；非精确搜索；Armijo Condition)

引言

上一节介绍了线搜索方法使用非精确搜索近似求解最优步长的过程中，讨论了$f(x_{k+1})<f(x_k)$与 { f ( x k ) } k = 0 ∞ ⇒ f ∗ \{f(x_k)\}_{k=0}^{\infty} \Rightarrow f^* { f(xk​)}k=0∞​⇒f∗之间的条件关系。本节以该条件关系为引，介绍$\text{Armijo Condition}$。

回顾：

关于$f(x_{k+1})=\varphi (\alpha )$的一些特性

在线搜索方法——步长角度(精确搜索)中介绍过，由于目标函数$f(\cdot )$未知，导致我们没有办法得到$\varphi (\alpha )=f(x_{k+1})$的精确函数，但并不妨碍我们了解一些关于$\varphi (\alpha )$的特性：

• 由于步长变量$\alpha$具有物理意义，因而$\alpha$存在下界$0$，从而$\varphi (0)=f(x_k+0\cdot {\mathcal{P}}_k)=f(x_k)$；
• $\varphi (\alpha )$在$\alpha =0$处的斜率$\begin{array}{r}\frac{\partial \varphi (\alpha )}{\partial \alpha }{|}_{\alpha =0}\end{array}$可表示成如下形式：
  $$\begin{array}{rl}\frac{\partial \varphi (\alpha )}{\partial \alpha }{|}_{\alpha =0}& ={\varphi }^{\prime }(0)\\ & ={\left[\nabla f(x_k+0\cdot {\mathcal{P}}_k)\right]}^T\cdot {\mathcal{P}}_k\\ & ={\left[\nabla f(x_k)\right]}^T\cdot {\mathcal{P}}_k\end{array}$$
  其中 P k \mathcal P_k