【Numerical Optimization】2 线搜索算法 PART 1（Jorge Nocedal 学习笔记）

线搜索理论满足以下模型，其中 $a_k$ 为步长，$p_k$ 为搜索方向：

$$x_{k+1} = x_k +\alpha_kp_k$$
为保证 $p_k$ 在目标函数 $f$ 的下降方向，需要满足 $p_k^T\nabla f_k <0$，其一般模型为：
$$p_k = -B_k^{-1}\nabla f_k$$
其中当 $B_k$ 对称满秩且正定时，能够保证 $p_k$ 指向 $f$ 下降方向

• steepest descent method: $B_k = I$（单位矩阵）
  • Newton’s method: $B_k = \nabla ^2f(x_k)$（Hessian 矩阵）
  • Quasi-Newton method： $B_k \to$ Hessian 估计矩阵（SR1 或 BFGS 方法等）

  • 上述内容可以参考 我的上一篇笔记。

    这篇笔记对 $\alpha _k$ 的选择以及 收敛率（rate of convergence）做深入讨论。

    ---

    1. 步长 Step Length

    对于步长的选择，主要基于两个权衡：

    • $\alpha_k$ 能够实现 $f$ 的大幅下降
    • 不能花太多时间做决定

    一般最为理想的方法是取下述 $\phi (.)$ 的最小值：
    

    $$\phi(\alpha) = f(x_k +\alpha p_k)，\alpha > 0$$
    但通常此求解过程非常复杂，无法实现，故退而希望 $\alpha_k$ 满足以下两个条件：
    • 当前 $\alpha_k$ 推进的部分在 $f$ 的 $p_k$ 方向的下降区间内
    • $\alpha_k$ 较长，可以实现更有效率的下降

    故引入以下几种条件。

    1.2 Wolfe 条件 The Wolfe Conditions

    Wolfe 条件其中包括两条条件：

    • Armijo Condition：保证 $\alpha_k$ 在 $p_k$ 方向上 $f$ 的下降区间内
      $$\phi(\alpha) =f (x_k + \alpha p_k)\\ l(\alpha) = f(x_k) +c_1 \alpha \nabla f_k^T p_k, c_1 \in (0,1)\\ \phi (\alpha) \le l(\alpha)$$
      其中 $c_1$ 的典型值为 $c_1 = 10^{-4}$
    • 曲率条件：保证 $\alpha_k$ 在上述条件的基础上足够大，使得算法有效率
    $$\phi '(\alpha_k) = \nabla f(x_k + \alpha _k p_k)^Tp_k\\ \phi'(\alpha_k) \ge c_2\phi'(0), c_2 \in (c_1,1)$$

    其中 $c_2$ 的典型值如下：

    • Newton / Quasi-Newton: $c_2 = 0.9$
    • Nonlinear conjugate gradient method: $c_2 = 0.1$

    综上所述，完整的 Wolfe Conditions 的叙述是：