凸函数性质

一 基本性质

凸函数定义

一个函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。
如果是在高维空间的话，我们可以引进新的定义
②

凸函数的第三个性质：一阶条件
③

我们可以通过下面的图片理解凸函数的一阶条件：

一个空间中的集合如果是凸的，那么经过拉伸变形旋转仍然是凸集。
也就是说，缩放与移位后的集合仍然保持凸性。公式表示如下：

举个栗子：两个凸集的和是凸的

假设有两个集合s1和s2，两个集合相加等同于两个集合中的元素相加。如果s1,s2是凸集的话，那么这两个集合的合也是凸集。
下面我们通过仿射的角度看看这个问题：
定义新集合如果s1和s2是凸集，那么上面的新几何也是凸集。其中（x,y）是新集合的变量，我们可以定义新变换f(x,y)=x+y。这是一个线性变换，那么新集合可以证明也是凸集。

举个栗子2：线性矩阵不等式LMI

我们来验证是凸集。
首先定义一个仿射变换F(x)=B-A(x)。并且我们知道此变换对半正定矩阵是凸集。将这两个式子组合在一起有。图中f是高维的矩阵空间映射到低维的矩阵空间，f^-1是从低维的矩阵空间映射到高维的矩阵空间。将低维的半正定矩阵S+映射到灯饰的右边。因为左边是凸集，f是仿射的映射，那么将他做逆映射之后构成的集合还是凸集。那么我们已经证明了线性矩阵的解集也是凸集。

透视函数

透视函数定义域如下表示前n个元素都可以在实数空间任意取值，但是最后一个元素必须是一个正数。
透视函数的定义如下：通俗理解就是p中的每一个元素都除以最后一个元素，除完后最后一个元素就没用了。去掉最后一个元素，函数就变成了n维了，也就进行了降维。

如何证明凸函数的一阶条件

先来回顾一下什么是一阶条件

用图像来说明一下一阶条件：

如图，在凸函数上任取两点（x,f(x)）,(y,f(y))，对x点求偏导。则x点处的偏导*（y-x）则表示如图y点下方的那段距离，因而f(y)≥f(x)+f’(x)(y-x).
具体证明如下：
正向证明：：当f为凸函数，对于任意的x,y∈dom f也是凸集时，任意的t∈(0,1]，肯定有x+t(y-x)∈dom f

那么当t->0时，取极限则有不等式成立。
反向证明：：

凸函数的最后一个定义：

④

二阶条件

也就是二阶偏导必须≥0，也就是海森矩阵必须满足半正定条件。

函数的组合如何保证其凸性

如何判断复合函数是不是凸的？

首先看什么是函数组合

上图的h函数和g函数组合成函数f=h•g，一个新函数，其定义域时R的n维到一维的映射。具体写出来就是这样的形式：f(x)=h(g(x))

下面证明一下函数组合如何保持凸性

1. 首先考虑一维情况：

k=n=1,
dom g=dom h=dom f =R
且h,g函数皆二阶可微。
那么我们需要验证如下式子：f为凸函数<=>f’’()≥0.
先计算一阶偏导和二阶偏导

上面的二阶偏导≥0成立，需要如下条件成立一条

2.高维情况。即n,k≥1时

假设h和g函数均不可二阶可微。如果函数只有部分有定义，那么为了方便分析，需要对函数进行拓展。比如logx这个函数，可以将其做如下拓展：

拓展后则有如下性质：
① h为凸函数，h~单调不降，g为凸函数，则f为凸函数
② h为凸函数，h~单调递增，g为凹函数，则f为凸函数
③ h为凹函数，h~单调递减，g为凹函数，则f为凹函数
④ h为凹函数，h~单调递增，g为凸函数，则f为凹函数

举个栗子

如果g是凸函数，那么exp(g(x))也是凸函数。
利用团函数的四条性质来证明一下。
定义一下h(z)=exp(z)，这是个凸函数，且单调递增。如果g是凹函数，g＞0，那么log{g(x)}就是凹函数。定义h(z)=log(z),扩展这个函数到全体实数域。这是凹函数，单调不降。所以他符合第三条性质