math: 凸函数、拟凸函数和保凸运算

8人阅读 评论(0) 收藏 举报
分类:

这一节主要学习凸函数的定义以及性质。了解保凸运算,以及上镜图与下水平集等。这些基础知识看似零乱,然而却是后面的基础。特别是,在实际应用中如果我们能把一个问题转化为凸优化问题,是非常好的一步。而能够这样做的前提,是知道基本的函数的凸性以及有哪些保凸运算。上镜图有助于我们从集合的角度理解这个函数为什么是凸的(集合的保凸运算);水平集是以函数的形式表示集合,类似于等高线,在历史上是重要的方法。这里我们通过下水平集把函数的凸性和集合的凸性联系了起来。

基本性质

定义

凸函数(Convex)的定义如下:

这里写图片描述

即:自变量的凸组合的函数值小于等于函数值的凸组合。

严格凸函数,只要把等号去掉。

凹函数(Concave)是凸函数取负号。

仿射函数是既凸且凹的

常见的凸函数

  • 仿射函数
  • eaXaR
  • 指数函数:xαR++,对α1或者α0

扩展值延伸

定义凸函数在定义域外的值为,从而将定义域延伸至全空间Rn

一阶条件(First Order Conditions)

函数f可微分,则函数f是凸函数的充要条件是其定义域dom f是凸集且对于任意的x,ydom f,下式成立

f(y)f(x)+f(x)T(yx)

即大于等于一阶泰勒近似。上式说明了一个凸函数的局部信息。对于严格凸和凹函数,有相应的结论。

对于一个凸函数,其一阶泰勒近似是原函数的一个全局下估计。反之,若某个函数的一阶泰勒近似总是其全局下估计,则这个函数是凸的。

二阶条件

函数f二阶可微(函数在定义域的开集上处处存在二阶导数),则f是凸函数的充要条件是:其Hessian矩阵是半正定矩阵。即对于所有xdom f,有

2f(x)0

此条件说明函数的倒数是非递减的。从几何上看是指函数图像在x点具有正的曲率。

函数f二阶可微(函数在定义域的开集上处处存在二阶导数),则f是凹函数的充要条件是:其Hessian矩阵是半负定矩阵。即对于所有xdom f,有

2f(x)0

R上的例子

  • 指数函数。对任意aR, 函数eax在R上是凸的
  • 幂函数。当a1或者a0时,xaR++上是凸函数;当0a1时,xaR++上是凹函数
  • 绝对值幂函数。当p1时,函数|x|pR上是凸函数。
  • 对数函数。函数log(x)R++上是凹函数。
  • 负熵。函数xlog(x)是定义域上的凸函数。

 Rn上的一些例子

  • 范数。Rn上任意范数为凸函数。

  • 最大值函数。函数f(x)=max{x1,...,xn}Rn上是凸的。

  • 二次-线性分式函数。函数f(x,y)=x2/y,其定义域为dom f=R×R++={(x,y)R2|y>0}是凸函数。

这里写图片描述

  • 指数和的对数。函数f(x)=log(ex1+...+exn)Rn上是凸函数。

  • 几何平均。几何平均函数f(x)=(ni=1xi)1/n在定义域Rn++上是凹函数。

  • 对数-行列式。函数f(X)=logdetX在定义域Sn++是凹函数。

判断函数的凸性的方法:

  • 根据二阶条件,求出Hessian矩阵,根据Hessian矩阵是否半正定。或者直接判断
  • 根据一阶条件判断
  • 把函数转化为与其定义域相交的直线,通过单变量函数判断原函数的凸性。
  • 把函数看成由其他简单的凸函数通过保凸运算导出。

下水平集(Sublevel Set)

水平集是一种通过函数表示集合的方法。函数的α下水平集的定义是:

这里写图片描述

即:使得函数值小于等于α的自变量的集合。

同理可以得到函数的α上水平集的定义。

凸函数的任意下水平集都是凸集。

凹函数的任意上水平集都是凸集。

因此,可以根据函数的凸性来判断集合的凸性。

比如:

这里写图片描述

这里算术平均是凸函数,几何平均是凹函数。其复合函数是凹的,因此集合是凸集。

上镜图(Epigraph)

函数的图像是指:

这里写图片描述

函数的上镜图是指函数图像上面的部分:

这里写图片描述

显然,可以通过函数图像的上镜图判断函数的凸性。

一个函数是凸函数,当且仅当上镜图是凸集。

一个函数是凹函数,当且仅当亚图是凸集。这里写图片描述

一阶条件的几何解释

考虑一阶条件,根据上镜图的定义可得,

这里写图片描述

这里写图片描述

Jessen不等式及其扩展

一阶条件的基本不等式也叫做Jessen不等式,可以扩展到无穷项和、积分以及期望。

保凸运算

学习保持凸性或者凹性的运算,可以用于构造新的凸函数或者凹函数,以及判断一个函数的凸性。

非负加权求和

显然,如果函数f是凸函数,则其非负加权求和仍然是凸函数。

f=w1f1+...+wmfm

对凹函数有相应的结论。

从上镜图可以得到这个结论,前面我们已经知道凸集通过线性变换之后的像依然是凸集。而

这里写图片描述

复合仿射映射

这里写图片描述

这个性质和集合的保凸运算类似。

逐点最大和逐点上确界

如果f1,...,fm是凸的,那么f(x)=max{f1,...,fm}也是凸的。

逐点最大的性质可以扩展至无限个凸函数的逐点上确界。如果对于任意yA,函数f(x,y)关于x都是凸的,则函数g

g(x)=supyAf(x,y)

关于x也是凸的。

从上镜图的角度理解,一系列函数的逐点上确界函数对应着这些函数上镜图的交集,而我们知道凸集的交集仍然是凸集,所以一系列函数的逐点上确界函数的上镜图是凸集。

集合的支撑函数

这里写图片描述

到集合中最远点的距离

这里写图片描述

以权为变量的最小二乘

这里写图片描述

对称矩阵最大特征值

这里写图片描述

矩阵范数

这里写图片描述

表示成一组仿射函数的逐点上确界

建立凸函数的技巧:表示成一组仿射函数的逐点上确界

复合函数

标量复合

这里写图片描述

矢量复合

这里写图片描述

最小化

这里写图片描述

函数g的定义域是dom f在x方向上的投影。

透视函数

这里写图片描述

共轭函数

拟凸函数

拟凸函数:定义域和所有下水平集都是凸集。

拟凹函数:定义域和所有上水平集是凸集。

拟线性函数:既是拟凸又是拟凹,定义域和所有水平集都是凸集。

易知,凸函数是拟凸函数。但是拟凸函数不一定是凸函数。

性质:拟凸性是凸性的扩展。在拟凸条件下,很多性质仍然成立。

拟凸函数的Jensen不等式:

f(θx+(1θ)y)max{f(x),f(y)}

一阶条件

这里写图片描述

二阶条件

这里写图片描述

保拟凸运算

待续

对数-凹函数和对数-凸函数

这里写图片描述

一个函数是否是对数-凸函数,是指这个函数取对数之后是凸函数。

一些例子:

  • 许多常见概率密度函数是对数-凹函数
  • 高斯概率密度函数的累积分布函数是对数-凹函数

相关性质

函数f二阶可微,则其是对数-凸函数,当且仅当

这里写图片描述

关于广义不等式的凸性

把普通的不等式替换成广义不等式,则函数的单调性、凸性需要重新定义。

关于广义不等式的单调性

这里写图片描述

关于广义不等式的凸性

这里写图片描述

参考文献

《凸优化》

查看评论

《Delphi高手突破》第0章(预览版)——关于本书

第0章  关于本书感谢您阅读本书!本书是写给程序员的,更确切说,是写给Delphi程序员的,再确切些,是写给已经有了一定的实现能力而欲求寻找一种"突破"的Delphi程序员的。作者本人,在接触了两年的...
  • Nicrosoft
  • Nicrosoft
  • 2002-05-30 10:02:00
  • 1281

优化理论(三)凸函数、拟凸函数和保凸运算

这一节主要学习凸函数的定义以及性质。了解保凸运算,以及上镜图与下水平集等。这些基础知识看似零乱,然而却是后面的基础。特别是,在实际应用中如果我们能把一个问题转化为凸优化问题,是非常好的一步。而能够这样...
  • u014230646
  • u014230646
  • 2018-03-23 18:21:11
  • 58

凸函数2(斯坦福凸优化笔记6)

本节介绍了Jensen 不等式,保凸运算,共轭函数,拟凸运算和对数凸函数。
  • xingce_cs
  • xingce_cs
  • 2017-07-09 21:39:00
  • 1303

凸集、凸函数、凸优化问题

机器学习中,经常会用到凸集、凸函数、凸优化问题。 这里对这些概念进行介绍,简单介绍其关系。凸集:如果集合A中任意两个元素的连线上的点也在集合内,则为凸集。见下图。 凸函数:函数任意两点连线上的...
  • qq_23617681
  • qq_23617681
  • 2016-05-21 00:35:57
  • 1284

漫步凸分析五——函数运算

对于已知的凸函数,我们如何对他们进行使得产生的函数依然是凸的呢?目前已经证明了许多运算是保留凸性的,某些运算与平常分析中的运算是类似的,像函数的逐点加法,还有一些运算出自几何动机,像取函数集的凸包。通...
  • u010182633
  • u010182633
  • 2016-12-02 21:53:30
  • 835

拟凸函数和凸函数的区别

本文讲述了拟凸函数和凸函数的基本概念和区别。 一、定义 拟凸函数: 函数f(x),对定义域S(凸集)上任意两点x1,x2∈S,Θ∈[0,1],如果有f[Θx1+(1-Θ)x2]≤max{f(x1),f...
  • HappyRocking
  • HappyRocking
  • 2014-12-13 15:43:18
  • 2864

凸优化 - 2 - 凸集和凸函数

前提说明:为了方便查阅,我将整个凸优化的内容分成了很多部分,因为后面的部分用到了前面的知识,所以,如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。 凸集  ...
  • xueyingxue001
  • xueyingxue001
  • 2016-07-08 09:01:08
  • 3893

凸函数及凸集的相关概念

机器学习&数据挖掘笔记_15(关于凸优化的一些简单概念)   没有系统学过数学优化,但是机器学习中又常用到这些工具和技巧,机器学习中最常见的优化当属凸优化了,这些可以参考Ng的教学资料:ht...
  • s1491695565
  • s1491695565
  • 2013-11-25 14:51:09
  • 4595

凸函数在凸集内部的多维凸组合仍然凸函数

  • MineralterMan
  • MineralterMan
  • 2015-11-08 21:18:27
  • 1064

函数凸性的判断方法

函数凸性的判断
  • u010945683
  • u010945683
  • 2016-10-24 17:33:57
  • 1386
    个人资料
    持之以恒
    等级:
    访问量: 2万+
    积分: 836
    排名: 6万+
    最新评论