凸优化问题

最新推荐文章于 2024-03-18 09:40:05 发布

Glory@OUC

最新推荐文章于 2024-03-18 09:40:05 发布

阅读量4.5k

点赞数 1

分类专栏： Deep Learning

本文链接：https://blog.csdn.net/zsg2063/article/details/78242023

版权

Deep Learning 专栏收录该内容

28 篇文章 0 订阅

订阅专栏

先转载几个链接，关于理论的介绍。

作者：王业磊
链接：https://www.zhihu.com/question/20343349/answer/17347657
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

数学中最优化问题的一般表述是求取 $x^{*}\in \chi$ ，使 $f(x^{*} )=min\{f(x):x\in \chi \}$ ，其中 $x$ 是n维向量， $\chi$ 是 $x$ 的可行域， $f$ 是 $\chi$ 上的实值函数。
凸优化问题是指 $\chi$ 是闭合的凸集且 $f$ 是 $\chi$ 上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。
其中， $\chi$ 是凸集是指对集合中的任意两点 $x_{1},x_{2}\in \chi$ ，有 $tx_{1}+(1-t)x_{2}\in \chi,t\in[0,1]$ ，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集，则涉及到闭集的定义，而闭集的定义又基于开集，比较抽象，不赘述，这里可以简单地认为闭合的凸集是指包含有所有边界点的凸集。

$f$ 是 凸函数是指对于定义域 $\chi$ 中任意两点 $x_{1},x_{2}\in \chi$ ，有 $f(t x_{1}+(1-t) x_{2}) \ge t f(x_{1})+(1-t)f( x_{2}),t\in[0,1]$ （ 这里应该是小于等于号，作者注）， 直观上就是 $f$ 向下凸出，如下图示意。
&amp;amp;lt;img src="https://pic1.zhimg.com/50/3a05acd2b63840bd7f79333c647411f0_hd.jpg" data-rawwidth="300" data-rawheight="156" class="content_image" width="300"&amp;amp;gt;

实际建模中判断一个最优化问题是不是凸优化问题一般看以下几点：

目标函数 $f$ 如果不是凸函数，则不是凸优化问题
决策变量 $x$ 中包含离散变量（0-1变量或整数变量），则不是凸优化问题
约束条件写成 $g(x)\le0$ 时， $g$ 如果不是凸函数，则不是凸优化问题

之所以要区分凸优化问题和非凸的问题原因在于凸优化问题中局部最优解同时也是全局最优解，这个特性使凸优化问题在一定意义上更易于解决，而一般的非凸最优化问题相比之下更难解决。
资料来自维基，稍有删减改动。

以上重要部分都已经标出，关键就是1）定义域是闭合的凸集 2）函数满足凸函数定义。

其实在自己理解问题和听课时，直观理解更好。

比如吴恩达教授提到的1/2*（y'-y）^2这个函数，课件中提到他是一个非凸函数。那么画下图来是底下这样的。

可以看到这是个马鞍形的，并没有满足（下）凸函数条件，有可能出现两点连线的中值小于函数在该中间点的取值的情况。或者二维看不出来的话就转为一维度来看，切一条线初来，明显是上凸的，这种函数存在的最大问题，知乎回答也提及了，就是局部最优解有可能不是全局最优解。根据这种函数定义出来的损失函数（或者叫优化函数）会容易陷入局部最优解的问题，所以一般不采用这种函数。

底下这个函数就很棒了。