论文基本情况
摘要:经典凸/非凸优化方法需要Lipshitzness of the gradient (||∇2f(X)||≤L), 本文的工作放宽了这一需求,进一步推广了non-uniform smoothness condition ;强大的分析技术: 沿轨迹限制梯度(bounds the gradients along the trajectory),从而为凸优化和非凸优化问题带来更强的结果
介绍:
Lipschitz smoothness condition太严格了,且得以二次函数为上限和下限
(L0, L1)-smoothness condition 推广了Lipschitz光滑性条件,还包含如一元多项式和指数函数
在语言建模实验中,观察到函数光滑性与梯度范数之间存在很强的正相关关系, 提出了(L0-L1)smoothness (1905.11881)
the ℓ-smoothness condition(本文提出) : 再次推广 the (L0, L1)-smoothness condition、
还开发了一种新的方法来分析这种情况下的收敛,通过沿优化轨迹(optimization trajectory)限定梯度来进行。