该论文放宽了经典优化方法对梯度Lipschitz连续性的要求，提出了一种名为ℓ-smoothness的条件，包括（L0, L1）-smoothness的推广。研究发现，这种方法可以更好地描述实际问题中函数的光滑性。通过限制沿优化轨迹的梯度，论文在凸和非凸设置下分析了梯度下降、随机梯度下降和Nesterov加速梯度的收敛性，并给出了新的收敛结果。此外，还讨论了势函数和优化轨迹的概念，并在有界噪声情况下放宽了随机优化的假设。"
103538318,9075226,Spark配置与分区策略优化,"['Spark', '大数据处理', '分布式计算', '内存管理', '任务调度']
论文基本情况
摘要：经典凸/非凸优化方法需要Lipshitzness of the gradient (||∇2f(X)||≤L), 本文的工作放宽了这一需求，进一步推广了non-uniform smoothness condition ;强大的分析技术: 沿轨迹限制梯度(bounds the gradients along the trajectory)，从而为凸优化和非凸优化问题带来更强的结果
介绍：
Lipschitz smoothness condition太严格了，且得以二次函数为上限和下限
(L0, L1)-smoothness condition 推广了Lipschitz光滑性条件，还包含如一元多项式和指数函数
在语言建模实验中，观察到函数光滑性与梯度范数之间存在很强的正相关关系， 提出了（L0-L1）smoothness （1905.11881）
the ℓ-smoothness condition（本文提出） ： 再次推广 the (L0, L1)-smoothness condition、
还开发了一种新的方法来分析这种情况下的收敛，通过沿优化轨迹（optimization trajectory）限定梯度来进行。
最低0.47元/天 解锁文章
7759
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
