高数基础——步长

非零因子

已于 2022-03-22 00:49:08 修改

阅读量9.3k

点赞数 7

分类专栏：数学基础学习文章标签：算法

于 2022-01-27 21:31:57 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_46489969/article/details/122650696

版权

数学基础学习专栏收录该内容

2 篇文章 1 订阅

订阅专栏

目录

1，什么是步长？

2，步长（）怎么取？

（1）Armijo conditions（充分下降条件）

（2）curvature condition（不要取得太小）

（3）Wolfe conditions

1，什么是步长？

在确定了搜索方向 $P_{k}$ 的情况下，讨论搜索步长 $\alpha _{k}$ ，希望对下述函数求最小值

$\Phi (\alpha )=f(x_k+\alpha{P_k})$

直接求解上述函数的最小值的方法叫做精确线搜索（公式解），然而这需要耗费大量的计算，所以我们一般采用非精确线搜索（可能不是最小值，但差不多）inexact line search

（1）函数应当有充分的下降

（2）步长不宜太小

【1】STEPS MIGHT BE TOO LONG --- 步长太大，会出现震荡现象

【2】STEPS MIGHT BE TOO SHORT --- 步长太小会走不出去，提前收敛（ $\alpha _k\rightarrow 0$ ）

2，步长（ $\alpha$ ）怎么取？

（1）Armijo conditions（充分下降条件）

首先，我们希望目标函数值能够有足够的下降（sufficient decrease）

$f(x_k+\alpha P_k)\leq f(x_k)+C_1\alpha \bigtriangledown{f_k^TP_k}$

常数 $C_1\in (0,1)$ 。将上述条件称为Armijo条件，不等式的右边记为 $l(\alpha )$ ，是一个斜率为 $C_1\alpha \bigtriangledown{f_k^TP_k}< 0$ 的线性函数，从而Armijo条件意味着

$\Phi (\alpha )\leq l(\alpha)$

实际应用中，我们一般将 C_1 取得很小，例如 $C_1=10^{-4}$ （不要太小，只要是下降的就可以了）

线性函数下面的部分是可取范围

$\alpha$ （learning rate）取小就可以取到一个局部最优解

斜率 C_1 （loss.backward）不要太小，不然只能取到局部最优，取不到 ${\color{Red}\textcircled{2} }$

note：梯度是某一点的导数，斜率是一阶线性函数的导数，高阶函数没有’斜率‘只有导数

（2）curvature condition（ $\alpha$ 不要取得太小）

当 $\alpha$ 取得很小的时候，Armijo条件成立，但是这并不是理想的步长，所以我们引入curvature condition，即

$\bigtriangledown{f(x_k+\alpha{P_k})^T}P_k\geq C_2\bigtriangledown{f_k^T}P_k$

${\color{Red}\Phi '(\alpha )\geq C_2\Phi '(0 ) }$

常数 $C_2\in (C_1,1)$ ，不等式的左边恰好是 $\Phi '(\alpha )$ ，那么上述不等式意味着 $\Phi '(\alpha )$ 应该要大于 C_2 倍 $\Phi '(0 )$

C_2 =0.9，when search direction is chosen by Newton（牛顿法：海瑟矩阵估计） or Quasi-Newton（拟牛顿法：用低秩算法迭代的海瑟矩阵估计）

C_2 =0.1，when search direction is obtained from nonlinear conjugate gradient method（非线性梯度法）

$\Phi (\alpha )\leq l(\alpha )\rightarrow \alpha _1$

$\Phi '(\alpha )\leq{C_2\Phi '(0)}\rightarrow \alpha _2$

排除下降的非常快，即 $\alpha$ 取得很小的部分。留下了变化缓慢和上升的部分。

（3）Wolfe conditions

The sufficient decrease and curvature conditions are known collectively as the Wolfe conditions.

$f(x_k+\alpha P_k)\leq f(x_k)+C_1\alpha \bigtriangledown{f_k^TP_k}$

$\bigtriangledown{f(x_k+\alpha{P_k})^T}P_k\geq C_2\bigtriangledown{f_k^T}P_k$

with 0< C_1< C_2< 1

It is not difficult to prove that there exist step lenghts that satisfy the Wolfe conditions for every function that is smooth and bounded below.---Wolfe condition一定可以搜索到一个备选空间

a "loose" line search $C_1=10^{-4}$ and C_2=0.9

关注

7
点赞
踩
14

收藏

觉得还不错? 一键收藏
打赏
2
评论
高数基础——步长

1，什么是步长？在确定了搜索方向的情况下，讨论搜索步长，希望对下述函数求最小值直接求解上述函数的最小值的方法叫做精确线搜索（公式解），然而这需要耗费大量的计算，所以我们一般采用非精确线搜索（可能不是最小值，但差不多）inexact line search（1）函数应当有充分的下降（2）步长不宜太小【1】STEPS MIGHT BE TOO LONG --- 步长太大，会出现震荡现象【2】STEPS MIGHT BE TOO SHORT --- 步长太小会走不出去，提前收敛（.
复制链接

扫一扫

专栏目录

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

非零因子 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。