组合优化与凸优化 学习笔记3 凸函数

目前学到了73页

凸函数的定义：

人话：函数f的定义域是凸集（在一般的情况下就是不能是断开的定义域（一般的情况是1维的嘛），假如x是什么多维向量的话就是说x的取值范围是一个凸集内），并且还满足3.1式子，那么这个函数就叫凸函数。

一般来说凸函数都长这个样子：

毕竟在3.1式子中可以看到右边的式子其实就是x,y之间的凸集（也就是它们之间的线段）而左边是实际的函数值，函数值要小当然就长这样了。

简单来说就是这个函数正好倒过来就叫凹函数。这两种在实际使用的时候没啥区别，加个符号的事。

严格凸就是要排除掉直线之类的情况。

扩展值延伸：

为了避免和之前的定义冲突，直接把外面的部分定义成无穷，这样肯定是凸的。这样省的每次都要讲一下定义域。在实际使用的时候可以设置成一个特别大的数（只要保证原本定义域内的值不可能超过它就行），这样怎样都是凸的。

同理凹函数的延申就是加-无穷

可微情况下的凸函数定义：

如果二阶可微那更好：

这里学到78页了。

还有第四个定义：

其实就是二次导大于等于零，只是这里考虑到函数可能是有多个自变量的情况。

注意：一个函数是凸函数的前提就是定义域要是凸的，中间空了个点啥的那就无力回天了。

上面是范数的定义，这是一个很宽泛的定义，和平时的理解不同。

注意：零范数（表示xi中非零元素的个数）不是范数，也不是凸函数。

这里的Rn都是把这个函数需要的n个自变量打包到一起（像一个向量一样）组成的。所以ax就是把所有x一起乘一个a的意思。

保凸运算

1：非负加权和：f1,f2……等是凸函数，则对于任意wi>=0，有f=w1*f1+w2*f2……均为凸函数。

2：若f(x,y)对于任意y属于A，f(x,y)均凸（就是说y给定了，只以x为自变量，这个函数就是凸的）。设w(y)>=0,对任意y属于A，有g(x)=(y属于A) w(y)*f(x,y)dy 为凸函数

3：仿射映射：f:Rn-->R,A属于Rn*m,b属于Rm。定义g:Rm-->R为g(x)=f(Ax+b)其中dom(g) = {x|Ax+b属于dom(f)}若f为凸，则g为凸。

4：逐点最大函数：

这个就叫做逐点最大保凸。

举个例子：

sup代表上确界。g(x)=sup f(x,y)代表以x为自变量的一个函数，这个函数的值是在x确定的情况下，y任意取值（当然不能超过A的范围）所可以达到的，f函数值的上界。可以想象这个函数就是在f(x,0),f(x,0.001)……等无限个函数中选择最大的那个，因此只需要上面的结论就知道g(x)是凸的。

接下来考虑一下复合函数。

可以这么记：复合函数的凹凸性首先要看h是什么，然后看后面的是不是能保持原来h的性质。如果是单增的（好记），那么就要选择和h一样的来保持，如果是单减的，就要用和h相反的来保持。

这里讲到了91页

函数的共轭

f*(y)就是在y给定的情况下yx与f(x)之间的最大差值。y是一个随便取的向量，因此yx可以组成一个过原点的线性函数（可以用三位的情形想象一下，yx就是一个平面）（上图其实有点迷惑性，注意yx是过原点的）

一些性质：

1.若f(x)可微，则f*(y)对应的x一定是f'(x)=y的点（求个导就证到了）

2.函数的共轭一定是凸函数

减回去了呗。

下水平集与拟凸函数

f(x)<=a的x的范围就叫做f(x)对a的下水平集。凸函数的下水平集也都是凸集，但下水平集都是凸集的不见得是凸函数。

从下水平集，我们可以得到拟凸函数的定义：

它其实不凸，但是只要不当场造反（走势直接发生变化之类的）就可以

拟凸函数的性质

凸函数当然也有这个性质且更强。

要么一直减，要么一直增，要么一段减一段增且就这两段。

拟凸函数还有第三个定义（另一个性质）：

其实就是之前那个性质的变体。当然仅限于可微函数。

注意，在拟凸函数中，f'(x)=0≠x是全局最小点，这和凸函数是不一样的。

类似于凸函数，拟凸函数也有二阶条件：

简单来讲，就是要把握斜率为0的那个点，这个点决定着拟凸函数的性质，只要在这个点装一下（二次导大于0 cos凸函数）那就可以成为拟凸函数。

的他方f（x）大于等于零就是之前凸函数那里提到的hessian阵。这个阵对于求多元函数的导数很重要。当时凸函数那里要确保所有点带进去都要大于等于零，因此要求hessian阵要是半正定的。这里只要求特定的点。

对数凸函数与对数凹函数

对数凸就是即使取了对数也一样是凸函数的函数。

原本是加权加的，这下变成次数乘了。

对数凸函数就是凸函数（可以用复合函数证明），但凸函数不一定是对数凸；非负凹函数（负了那就去不了对数了）是对数凹函数，但对数凹不一定是凹函数。

这里学到了133页