凸优化
文章平均质量分 52
联邦学习小白
联邦学习/大数据/机器学习
展开
-
简单理解凸优化中μ-strongly convex和L-smooth
不考虑具体原理,单纯考虑作用的话,可以把μ-strongly convex和L-smooth看作是一对CP,这对CP可以将目标函数强行变成一个二次函数的样子,并且限制了梯度的最大最小变化速度,使得梯度下降变得可控(L-smooth定义了二次函数的上界和梯度的最大变化速度,μ-strongly convexh定义了二次函数的上下界和梯度的最小变化速度)。目标函数有了这样的性质,便可以很方便地对其进行收敛性分析,并证明该算法的收敛性。所以总的来说,μ-strongly convex+L-smooth,有利于原创 2021-07-05 12:25:14 · 5205 阅读 · 3 评论 -
凸优化中的对偶问题
最近看论文里面有好多凸优化、对偶函数、KKT什么的,太顶了,看不下去,就先补一补这方面的知识。凸优化其实是一个比较大的问题,看了半天也是一知半解,只能理解大概的原理和意义,这里就先记录一下,后面有更深的理解再补充。我们知道所谓优化就是要去找全局最优解,凸优化是什么,凸优化中的全局最优解怎么找,我们首先从一般的优化问题开始理解。优化问题的基本形式minimize f0f_0f0(x), x∈RnR^nRnsubject to fif_ifi(x)≤0, i=1,…,m;hjh_jhj(x)=0原创 2021-07-01 16:09:07 · 2430 阅读 · 0 评论