![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
凸优化理论
再也不说我是谁
西南交通大学信息与通信工程博士三年级在读
展开
-
强凸的强制性 coercivity
类似于平滑,强凸也会带来 强制性(这个翻译可能不准)。即:如果函数强凸,则满足:类比平滑,我们发现强制性都是关于梯度的累积的性质。接下来我们证明。已知函数强凸,我们知道是凸函数。那么函数g(x)满足单调性,即展开得到证毕!...原创 2022-02-08 15:37:59 · 1644 阅读 · 0 评论 -
强凸性带来的 距离最优值的上下界
与平滑性类似,强凸也会带来一个类似的上下界。我们先上结论:如果函数是,那么存在这么一个上下界这个界与平滑那个上下界简直不要太像,只是换了一下位置。接下来我们证明。已知函数强凸,有我们令,其中是函数最优值,则得到因为,于是证明了左边。接着证明右边,我们令上面的式子是恒成立的则而g(y) 要取最值,则带入g(y),我们可以求得这里我们没有对做y做任何限制,令右边即证...原创 2022-02-08 15:27:44 · 840 阅读 · 1 评论 -
smooth 函数性质 2: co-coercivity, 强制性
定义: 如果函数是,则满足:可以看到这是一个关于梯度的性质。接下来我们证明这个性质。为了证明这个性质,我们首先定义:可以看到这个函数的巧妙之处在于 最小值为, 很简单,对上式求导数,然后令其为零即可。只有时导数才是0。然后我们有:然后我们看,依然是一个平滑函数,因为相较于只增加了一个线性项,不改变平滑性。因此,利用平滑函数之差有界的特点,我们得到同理,我们也可以得到将第三个式子与第一个式子相加命题即证...原创 2022-02-07 16:35:52 · 1808 阅读 · 0 评论 -
Smooth 函数的性质-1 : 距离最优值的上下界
上一文中,我们聊了smooth性质对于确定步长的作用。这一次,我们一次性把 函数 平滑特性的几个有用的 性质 讲清楚。Claim 1 :如果函数 f 满足smooth, 则函数具备上下界这个上下界则可以比较明确地让我们知道,我们此时离最优解还有多远,接着我们来证明。Proof:因为函数是平滑的,所以我们有因为在最优值点的梯度为0 因此第二项直接消失了。 因此我们证明了上界。而上式的右边也可以看做是一个关于x的函数 g(x), 由于上式对任意x都满足,因此因此,令g(x原创 2022-01-21 15:28:30 · 1050 阅读 · 0 评论 -
关于梯度下降法的步长-从函数的 smooth 性质出发
我们在前面的时候提到了梯度下降法。我们简单说了一下步长。今天我们填上这个坑。我们根据函数的smooth 性质,聊一下这个步长该怎么取。首先我们回忆一下函数是smooth, 则函数满足:这个意思就是呢函数的值是会有一个上界的。梯度下降法中呢,我们自变量更新的规则有所以我们令有我们观察上面这个式子,如果我们希望梯度下降法每一步都有改进,则我们自然希望通常步长是大于0的,因此上式要满足则通常我们取步长为, 因此此时最大,函数的improvement最大。因此,如果.原创 2022-01-20 16:02:55 · 1053 阅读 · 1 评论 -
函数强凸 strong convexity
接着上一篇文章,我们接着说函数的强凸性。定义:若函数f(x)满足参数strong convex则通过这个式子我们可以看到,所谓的强凸就是比凸 多了最后项非零项,自然就比一般的凸更加严格了,所以强凸是不是也比较容易理解了。Claim 如果函数f(x)强凸,则函数为凸函数。是不是觉得这个claim 与平滑中的 claim很像,的确是的。我们先证明一下这个性质。Proof : 如果g(x)为凸函数,那么g(x)需要满足凸函数的性质即由于f(x)是强凸函数,因此命题得证。.原创 2022-01-17 16:38:56 · 6478 阅读 · 1 评论 -
函数平滑 smooth
今天我们聊一下凸优化中平滑的概念。首先说什么是平滑。平滑的定义是:满足上述式子的函数被称为-smooth 。实际上这个性质一看就与梯度有关系。为什么需要定义这个概念呢。其实就是与梯度有关。我们知道,在优化算法求解的过程中,函数的梯度理论上会逐渐趋近于0, 因此,我们通过平滑这个概念就可以看出函数梯度的变化程度,应该算是比较贴切的一个概念了。同时,上面这个公式在一些教材当中又被称作里普希茨连续。都是一个意思其实。Claim: 如果一个函数f(x)是-smooth,则函数是凸函数Pr原创 2022-01-17 16:25:02 · 7652 阅读 · 0 评论 -
关于梯度在优化算法中的介绍
可能每个人都听过优化老师说过 这么一句话,“所有的优化算法都是迭代算法”。想必不是每个人都能理解这句话是怎么来的。为了简单起见,我们就假设我们最小化函数f(x), x的定义域没有特殊的限制。根据泰勒公式,我们知道任何一个函数都可以利用泰勒级数进行近似。为了简单,我们对f(x)进行一阶近似,因此,原问题变为最小化函数那么根据迭代思路,我们下一次迭代取的x的数值应该满足如下关系:最后一项的作用就是一个惩罚项,意思是希望我们最新取的x的值,不要离当前的太远了。因此,我们最新的应该使得上式右原创 2022-01-14 21:06:37 · 224 阅读 · 0 评论 -
凸函数最优性条件
本文中,我们主要讨论一下凸函数什么时候可以取到最小值(通常这么讨论哈,可以是最大值)。老规矩,首先给出结论分为两种情况:凸函数取最小值,的条件为:这个条件的意思是什么呢?意思是 要么0 在次梯度集合中, 要么 负梯度方向在不可行方向集合中。具体的,第一个条件,我们先简单证明一下。如果函数 存在次梯度,更具凸函数定义2如果,即次梯度能取0则恒成立,则此时函数值最小上述情况对于x1 点是比较容易理解的,因为x1 这里所有方向都是可行方向。但是对于x2这一点..原创 2022-01-12 14:58:39 · 1182 阅读 · 0 评论 -
凸函数 3种定义的等价性
在证明等价性之前,我们需要先引入一个概念 就是 “单调”。如果一个函数是单调的,则满足然后我们开始证明三定义的等价性。首先我们写出如果函数是凸函数,则根据定义3,我们可以得到即梯度是单调的。现在我们假设函数是单调的,看看能不能推出函数是凸函数接着仿照上面的方式,我们可以得到这里我们整理一下上面的公式这里,我我们已知函数是单调的,可以得到这里因为t 是一个0-1 之间的数于是根据上面的不等式我们可以得到然后我们得到这是...原创 2022-01-12 14:36:48 · 1609 阅读 · 0 评论 -
凸函数-convex function
上一篇文章我们说了什么叫凸集。简单来说,凸集有点像一个类似于 “圆”的集合,毕竟任意两点都要在集合内部。今天我们就接着说凸函数。老规矩,我们先上凸函数的定义。凸函数的定义有三个,分别是:1. 2. 3. 上面定义3 的意思是说 函数f(x)的“二阶导数”大于等于0.但是这里自变量为矢量,因此求导是矩阵求导。因此称呼也要变一变,定义3的正确意思是 函数f(x)的hessian 矩阵是半正定的。前面就是感性的理解。定义1 和定义2 都表示函数是一个 “锅”的形状。如 定义1, 函原创 2022-01-10 10:41:44 · 1379 阅读 · 0 评论 -
一种特殊的凸集-锥
今天我们接着来说一种特殊的集合,锥老规矩,定义:C 是一个锥的条件是,,有可以看到锥的定义和凸集的定义特别像,只不过凸集要求两个点的直线在集合内。那我们来看看这个锥这个东西代表什么意思?这里代表一个矢量,同理也是一个矢量。 两个矢量的和,满足平行四边形法则,还要在集合里面,且时任意的比例变化情况下。从这个图中,我们可以看到,比例变化只能在其对应的那一条虚线上变化,同理也一样。因此,根据平行四边形法则,锥就是图中虚线所示的那一片区域。有了锥,还有一个伴随的概念叫做极锥。定义:.原创 2021-11-11 14:48:16 · 797 阅读 · 0 评论 -
第三节- 超平面
这一节我们来讲一个新的东西,叫做 超 平面( hyper-plane)。其实这个东西本身并不难理解。 只是我们在三维直角坐标系里面习惯了 直线 平面什么的,可能有些疑惑而已。老规矩,我们先甩出定义:超平面 hyperplane看起来,超平面是这样的一些‘ 点 ’, 满足关系Sx = b, 通常S 与 b呢又是常数。 这个东西看起来是不是和直线的定义有点像啊。 是的,本质上就是一个线性关系。其实以前高中定义的平面也是一个线性关系。我们说 ax + by +cz = d 是一个平...原创 2021-11-05 20:27:59 · 1382 阅读 · 0 评论 -
凸集 convex set
今天我们就很开心,因为我们正式开始接触第一个概念- 凸集啦凸集的定义如下:一个集合C中,任意两个点, 满足集合解释就是 任意两点之间的线段都在集合内部。注意: 定义中的就是限制了线段的意思。接着我们举一个凸集的例子:上面这个例子可以很好地说明凸集的意思了。至于我们为什么要定义凸集,我们后面会在说到优化问题求解算法的时候再具体说。当然有很多集合都是凸集。比如实数集合呀, 坐标轴的第一象限啊这些。如果你不是很确定一个集合是不是凸集,那么就用上面的定义去证明就ok了。..原创 2021-11-04 20:32:58 · 465 阅读 · 0 评论 -
凸优化的预备知识
本文中,我们对凸优化要求的基本知识进行基本的介绍。大家不要嫌烦,这已经是我能想到最少的了。1. 线性代数是空间的一组基,若换言之,任意一个向量w 都要能够被这组基 线性表示。于此,我们可以引出线性不相关。即若中,彼此都无法被剩余的k-1 个向量线性表示,则线性无关。线性无关,这里咱们举个例子:a = [1 0 0 ] b=[0 1 0] c= [ 0 0 1], 显然a,b,c是线性相关的。最后,根据上面的例子,我们给出,一组基的向量之间,彼此都是线性无关的。接着我.原创 2021-11-03 16:24:42 · 428 阅读 · 0 评论 -
前言- 写在凸优化开始之前
讲完算法设计,我们即将进入一个比较实用的数学-优化理论。这个系列的博客我会尽量简单地把这门课最重要的核心内容讲述出来。一些其他的内容可能会被省略一部分,主要还是希望大家能看清楚这门课的核心内容时讲什么东西。同时我还会结合在计算机上编程的操作,让大家尽量也可以动一动手。如果大家觉得有用的话,麻烦大家给我留下一个赞,谢谢各位!...原创 2021-10-23 14:41:47 · 96 阅读 · 0 评论