非精确一维线搜索(Armijo-Goldstein Rule 和 Wolfe-Powell Rule)

非精确一维线搜索(Armijo-Goldstein Rule 和 Wolfe-Powell Rule)

Armijo-Goldstein Rule

核心思想:

  1. 目标函数值有足够下降;
  2. 一维线搜索的步长不应该太小

算法步骤

  • S t e p 1 Step1 Step1:初始点 μ \mu μ ,令 μ m i n \mu_{min} μmin = 0, μ m a x \mu_{max} μmax = + ∞ \infty ρ ∈ ( 0 , 1 2 ) \rho\in(0,\frac{1}{2}) ρ(0,21),计算 f ( 0 ) f(0) f(0) f ′ ( 0 ) f'(0) f(0);

  • S t e p 2 Step2 Step2:如果 f ( μ ) > f ( 0 ) + ρ f ′ ( 0 ) μ f(\mu)>f(0)+\rho f'(0)\mu f(μ)>f(0)+ρf(0)μ, 令 μ m a x = μ \mu_{max}=\mu μmax=μ,转 S t e p 3 Step3 Step3 ,
    如果 f ( μ ) ≥ f ( 0 ) + ( 1 − ρ ) f ′ ( 0 ) μ f(\mu) \geq f(0) +(1-\rho)f'(0)\mu f(μ)f(0)+(1ρ)f(0)μ , 停止迭代,输出 μ \mu μ ,
    否则,令 μ m i n = μ \mu_{min}=\mu μmin=μ, 转 S t e p 3 Step3 Step3

  • S t e p 3 Step3 Step3:如果 μ m a x < + ∞ , 令 μ = μ m i n + μ m a x \mu_{max}<+\infty , 令\mu=\mu_{min}+\mu_{max} μmax<+,μ=μmin+μmax,转到 S t e p 2 Step2 Step2
    否则,令 μ = 2 μ \mu=2\mu μ=2μ, 转到 S t e p 2 Step2 Step2.

Wolfe-Powell Rule

核心思想:

  • 利用梯度避免将极小值排除在可接受区间外。

算法步骤

  • S t e p 1 Step1 Step1:初始点 μ , 令 μ m i n = 0 , μ m a x = + ∞ , 令 f m i n = f ( 0 ) , f m i n ′ = f ′ ( 0 ) \mu, 令\mu_{min}=0, \mu_{max}=+\infty, 令f_{min}=f(0), f'_{min}=f'(0) μ,μmin=0,μmax=+,fmin=f(0),fmin=f(0),
    ρ ( = 0.1 ) , σ ( = 0.4 ) \rho(=0.1),\sigma(=0.4) ρ(=0.1),σ(=0.4);

  • S t e p 2 Step2 Step2:如果 f ( μ ) > f ( 0 ) + ρ f ′ ( 0 ) μ , 令 μ m a x = μ , 转 到 S t e p 3 f(\mu)>f(0)+\rho f'(0)\mu,令\mu_{max}=\mu,转到Step3 f(μ)>f(0)+ρf(0)μ,μmax=μ,Step3,
    如果 f ′ ( μ ) ≥ σ f ′ ( 0 ) , 停 止 迭 代 , 输 出 μ f'(\mu)\geq\sigma f'(0),停止迭代,输出\mu f(μ)σf(0),μ,
    否则,令 μ m i n = μ , 转 到 S t e p 4 \mu_{min}=\mu,转到Step4 μmin=μStep4

  • S t e p 3 Step3 Step3 μ ^ = μ m i n + 1 2 μ − μ m i n 1 + f m i n − f ( μ ) ( μ − μ m i n ) f m i n ′ , μ = μ ^ , \hat \mu=\mu_{min}+\frac{1}{2}\frac{\mu-\mu_{min}}{1+\frac{f_{min}-f(\mu)}{(\mu-\mu_{min})f'_{min}}},\mu=\hat \mu, μ^=μmin+211+(μμmin)fminfminf(μ)μμmin,μ=μ^
    计算 f ( μ ) , f ′ ( μ ) , 转 到 S t e p 2 f(\mu),f'(\mu),转到Step2 f(μ),f(μ),Step2;

  • S t e p 4 Step4 Step4 μ ^ = μ + μ − μ m i n f m i n ′ − f ′ ( μ ) f ′ ( μ ) , \hat \mu=\mu+\frac{\mu-\mu_{min}}{f'_{min}-f'(\mu)}f'(\mu), μ^=μ+fminf(μ)μμminf(μ),
    计算 f m i n = f ( μ ) , f m i n ′ = f ′ ( μ ) , 令 μ = μ ^ f_{min}=f(\mu),f'_{min}=f'(\mu),令\mu=\hat \mu fmin=f(μ),fmin=f(μ),μ=μ^;
    计算 f ( μ ) , f ′ ( μ ) , 转 到 S t e p 2 f(\mu),f'(\mu),转到Step2 f(μ),f(μ),Step2;

代码实现后续补充

  • 4
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Armijo-Goldstein 准则是一种常用的学习率更新策略,用于优化算法中的步长选择。其核心思想是在每次更新步长时,根据当前的梯度信息和目标函数的变化情况来动态调整步长的大小,以便更快地收敛。 在 Matlab 中实现 Armijo-Goldstein 准则的学习率更新,可以按照以下步骤进行: 1. 定义目标函数和梯度计算函数。例如,假设目标函数为 f(x),梯度函数为 grad_f(x),可以使用 Matlab 中的函数句柄来定义: ```matlab f = @(x) ... % 目标函数 grad_f = @(x) ... % 梯度函数 ``` 2. 定义 Armijo-Goldstein 准则中的参数。Armijo-Goldstein 准则中有两个参数,一个是收缩因子 rho,另一个是常数 c。可以根据实际情况来调整这两个参数的大小: ```matlab rho = 0.5; % 收缩因子 c = 0.1; % 常数 ``` 3. 实现 Armijo-Goldstein 准则的学习率更新。具体实现方法如下: ```matlab alpha = 1; % 初始学习率 while f(x - alpha * grad_f(x)) > f(x) - c * alpha * norm(grad_f(x))^2 alpha = rho * alpha; % 更新学习率 end ``` 在这段代码中,首先初始化学习率 alpha 为1,然后根据 Armijo-Goldstein 准则的判定条件,如果目标函数的变化量大于一定的阈值,就按照收缩因子 rho 来动态调整学习率。最终,返回更新后的学习率 alpha。 需要注意的是,这里的 x 是优化算法中的参数向量,需要根据具体的优化算法来进行更新。例如,在梯度下降算法中,x 的更新方式为: ```matlab x = x - alpha * grad_f(x); ``` 这样,就可以使用 Armijo-Goldstein 准则来动态调整学习率,提高优化算法的收敛速度。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值