数值优化（Numerical Optimization）学习系列-线搜索方法（LineSearch）

概述

在求解最优化问题中，线搜索是一类非常重要的迭代算法。线搜索的迭代过程是$x_{k+1}=x_k+\alpha_k p_k$。其中$\alpha_k$和$p_k$分别表示搜索步长和搜索方向，因此线搜索需要解决如何求解步长和确定搜索方向，该小结主要介绍
1. 步长$\alpha_k$的选择
2. 步长的实现算法
2. 线搜索的收敛性
3. 牛顿方法的优化

步长$\alpha$的选择

根据迭代算法$x_{k+1}=x_k+\alpha_k p_k$，根据之前的介绍搜索方向$p_k$需要满足，它是一个下降方向，即满足$\nabla f_k p_k \le 0$，则$p_k=-B_k^{-1}\nabla f_k$，B为对称非奇异矩阵，根据$B_k$的选择会产生以下几个方向:
1. $B_k=\mathbf I$时，搜索方向为负梯度方向，该方法为最速下降方向。
2. $B_k=\nabla^2f_k$时，该方法为牛顿方法。
3. $B_k$需要满足对称正定矩阵，该方法为拟牛顿方法。
当搜索方向确定后，下一步就要确定步长。

问题形式

求解步长需要解决的一个最优化问题是，在确定了下降方向$p_k$后，求解一个一元最优化问题

$$min \phi(\alpha)=f(x_k+\alpha p_k)$$ .

精确算法

对于一个一元二次问题，最优解形式为$\nabla^Tf(x_k+\alpha p_k) p_k=0$，即$\nabla^Tf_{k+1}p_k=0$

性质：对于最速下降法，当选择最优步长时，每一步的搜索方向和上一步是正交的，即$p_{k+1}^Tp_k=0$

证明：由于当选择为最优步长时满足$\nabla^Tf_{k+1}p_k=0$。因此性质成立，$p_{k+1}=-\nabla f_{k+1}^T$

非精确算法

非精确算法的思路就是寻找步长$\alpha$的一个区间，通过逐步二分的方法去寻找满足条件的点。当搜索结束时，需要满足该步长能够对目标函数带来充分的减少。为提高非精确算法的搜索效率，$\alpha$需要满足一定的条件。

Armijo条件

Armijo是一个相对比较简单的条件，即目标函数需要充分小。

$$f(x_k+\alpha p_k) \le f(x_k)+c_1\alpha \nabla f_k^Tp_k ,\quad c_1 \in (0,1)$$
通常情况下记：
$$\phi(\alpha)=f(x_k+\alpha p_k)$$ 表示原始最优化目标函数。 $$l(\alpha)=f(x_k)+c_1\alpha \nabla f_k^Tp_k$$ 表示退化后的目标函数。
在实际应用中， $c_1$选择为10^-4，满足Armijo条件的情况如下图所示

Curvature条件

Curvature条件是指：