Line search（一维搜索）

最新推荐文章于 2023-01-14 12:11:32 发布

lz_scer

最新推荐文章于 2023-01-14 12:11:32 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/noteforarm/article/details/113847099

版权

对最小二乘问题，在下降算法中，确定了搜索方向（最陡下降法或梯度法为为线性收敛，方向为 $-F^{'}(X)$ ；牛顿迭代法二次收敛，方向为 $-F^{'}(X)(F^{''}(X))^{-1}$ ）后，还需要确定搜索步长 $\alpha$ 。

为确定步长，需要找到：

$\alpha _{e}=argmin_{\alpha > 0}\left \{ F(X+\alpha h) \right \}$

通常采用一维搜索方法（Line Search），构造以下方程：

$\varphi (\alpha )=F(X+\alpha h)=F(X)+\alpha h^{T}F^{'}(X)+\frac{1}{2}\alpha ^{2}h^{T}F^{''}h+O(\alpha ^{3})$ ，其中和已知， $\alpha \geq 0$

当 $\alpha=0$ 时，如果方程 $F(X+\alpha h)$ 式递减的，则称向量为下降方向，此时有：

$\varphi^{'} (0 )= h^{T}F^{'}(X)< 0\Leftrightarrow \varphi (\alpha )< \varphi (0),\alpha \rightarrow 0$

通常会对 $\alpha$ 给定一个初值，比如，牛顿迭代法 $\alpha =1$ 。下图为为下降方向， $F^{''}$ 正定时 $\varphi (\alpha )$ 曲线图（开口向上，对称轴为正的二次曲线）

$\varphi (\alpha )$ 曲线 $\alpha$ 可选区域

由图可以看出：1. $\alpha$ 太小，导致目标函数的下降增益过小，此时应该增大 $\alpha$ ；2. $\alpha$ 太大，导致 $\varphi (\alpha ) > \varphi (0)$ 破坏了下降条件；3. $\alpha$ 接近满足条件 $\alpha _{e}=argmin_{\alpha > 0}\left \{ F(X+\alpha h) \right \}$ ，意味着 $\varphi^{'} (\alpha )=h^{T}F^{'}(X+\alpha h)=0$ ，此时要么 $F^{'}(X+\alpha h)=0$ ，获得最优值，算法停止；要么和 $F^{'}(X+\alpha h)$ 正交，停止搜索，采用该值（该值是局部最优，正交意味着沿方向步长继续变化将增大 $\varphi$ ）。