【Numerical Optimization】3 Line Search Methods

最新推荐文章于 2024-04-22 17:14:01 发布

xzen

最新推荐文章于 2024-04-22 17:14:01 发布

阅读量641

点赞数 1

分类专栏：数值优化文章标签： numerical optimization

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_38716567/article/details/82889845

版权

数值优化专栏收录该内容

16 篇文章 5 订阅

订阅专栏

2019.02.24

【

迭代形式、什么是下降方向
精确线搜索和wofle步长
Zoutendijk条件-普遍条件下推导收敛性/收敛率的必经步骤
特定步长下的收敛性/收敛率证明都比较通俗】

2018.12.27更新，在文末补充了一些笔记

1.Step Length

1.1 Wolfe conditions:

Armijo condition（保证 $\alpha _{_{k}}$ 在 $p_{_{k}}$ 方向上的下降区间内）: $f\left ( x_{k} +\alpha _{k}p_{k}\right )\leq f(x_{k})+c_{_{1}}\alpha _{_{k}}\bigtriangledown f_{k}^{T}p_{k}$
curvature condition (保证步长 $\alpha _{_{k}}$ 足够大): $\bigtriangledown f(x_{k}+\alpha _{k}p_{k})^{T}p_{k}\geq c_{2}\bigtriangledown f_{k}^{T}p_{k}$

strong Wolfe conditions:

在 Wolfe conditions 修正了曲率条件： $\left | \bigtriangledown f(x_{k}+\alpha _{k}p_{k})^{T}p_{k}\right|\geq \left|c_{2}\bigtriangledown f_{k}^{T}p_{k}\right|$

1.2 The Goldstein conditions

1.3 BLS

2. Convergence of Line search methods

Zoutendijk condition:

$\sum_{k=0}^{\infty}cos^{2}\theta _{k}\left \| \bigtriangledown f_{k} \right \|^{2}< \infty$

If the angle $\theta_{k}$ is bounded away from $90^{\circ}$ ,then

$\lim_{k\rightarrow \infty}\left \| \bigtriangledown f_{k} \right \|=0$

3.Rate of Convergence

3.1 Q-convergence：

$\lim_{k\rightarrow \infty}\frac{\left | x_{k+1}-x^{*} \right |}{\left|x_{k}-x^{*}\right|^{\alpha }}=c$

$\alpha =1,0< c< 1$ : linear convergence
$\alpha =1,c=0$ : super linear convergence
$\alpha =2,c=constant$ : Qudractic convergence
$\alpha >2,0< c< \infty$ : $\alpha$ 阶收敛

3.2 几个常见方法的收敛率

4.Step-Length Selection Algotithms

关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。