梯度下降收敛性分析与证明

一:Lipschitz连续定义:对于在实数集的子集的函数,若存在常数,使得,则称函数符合利普希茨条件。性质1:若函数在定义域内满足Lipschitz连续,则有
摘要由CSDN通过智能技术生成

一:Lipschitz连续

定义:对于在实数集的子集的函数f:D\subseteq \mathbb{R}\rightarrow \mathbb{R},若存在常数K,使得\left | f(a)-f(b) \right |\leq K\left | a-b \right |,\forall a,b\in D,则称函数f符合利普希茨条件。

性质1:若函数f在定义域内满足Lipschitz连续,则有

                                                     f(y)\leq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{M}{2}\left \| y-x \right \|^{2}                                                                        (1-1)                  

二:梯度下降算法收敛性分析

在求解优化问题时,我们常用梯度下降算法对目标函数进行寻优,求得优化问题的最优解或近似最优解。而在面对不同性质的目标函数时,如凸函数、强凸函数和非凸函数,梯度下降算法的收敛性会发生何种变化,都是值得去思考的一个问题。

在此,我们首先讨论第一种情况,在优化问题的目标函数为强凸函数,且满足Lipschitz连续,采用梯度下降算法进行求解的算法收敛性分析如下:

若目标函数f为强凸函数,且在定义域内Lipschitz连续。则有:

  Lipschitz连续性质:                   f(y)\leq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{M}{2}\left \| y-x \right \|^{2}                                                                          (2-1)

强凸函数性质                             

  • 3
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 9
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值