一:Lipschitz连续
定义:对于在实数集的子集的函数,若存在常数,使得,则称函数符合利普希茨条件。
性质1:若函数在定义域内满足Lipschitz连续,则有
(1-1)
二:梯度下降算法收敛性分析
在求解优化问题时,我们常用梯度下降算法对目标函数进行寻优,求得优化问题的最优解或近似最优解。而在面对不同性质的目标函数时,如凸函数、强凸函数和非凸函数,梯度下降算法的收敛性会发生何种变化,都是值得去思考的一个问题。
在此,我们首先讨论第一种情况,在优化问题的目标函数为强凸函数,且满足Lipschitz连续,采用梯度下降算法进行求解的算法收敛性分析如下:
若目标函数为强凸函数,且在定义域内Lipschitz连续。则有:
Lipschitz连续性质: (2-1)
强凸函数性质