Convex optimization 2 --- convex function

1 Introduction

在第一部分，学习了判断集合是否是凸集，这个部分开始学习函数是否是凸函数。

2 凸函数

2.1 凸函数定义

以一维函数为例，下面这个图曲线上两点之间的线段始终在曲线函数的上方。

2.2 常见一维凸函数

• 一维凸函数
  
• 一维凹函数
  

2.3 常见高维凸函数

• 高维凸函数，$x\in R^n$
  
  高维affine function仍可以用集合的角度理解，从高维集合投影到一维集合上。
  
  高维norms $||x|{|}_p$是一个凸锥。
• 高维凸函数，$x\in R^{m\times n}$
  
  
• 高维函数映射$f(x+tv)\to g(t)$
  
  直线$\vec{x}+t\vec{v}$是凸集，映射到t,g(t)是凸函数，f(x)是凸函数。
  
• extended-value extension $f\to \tilde{f}$
  

2.4 凸函数的判定

2.4.1 一阶判定

从几何上很容易理解，一阶判定。但是需要同时比较f(x)、f(y)和f’(x),某些条件下，并不容易比较。

2.4.2 二阶判定

二阶判定则只需要判断二阶倒数的特性，就可以判断是否是凸函数。

2.4.3 上境图

上境图的作用是将函数转换成集合，通过集合的判定方法来判断函数是否是凸函数。

2.5 保凸运算

• 非负加权求和
  
• 逐点最大和逐点上确界
  逐点最大值，从上确界的角度非常容易理解。f(x,t)和g(x,t)的最大值，就是下图中的两个上确界集合的交集。
  
  逐点上确界，从微积分的角度理解，将$y\in A$切成一个个极微小的区域，每个区域都是凸集，最后合并之后，整体仍然是一个凸集。
  
• 复合函数
  
  判断的方法，通过几何判断并不直观，采用二阶判断。
  
  
• 最小值
  采用上镜图非常容易理解，f(x,y,t)组成的上界图是一个凸集。在每个x点，进行切割，找到最小值，组成的函数的上确界epi(g)仍然在之前的上确界的边缘上，所以仍然是凸集。
  
• 透视变换
  
  从上镜图很容易理解，集合f(x,s),经过透视变换变成了f(s/t, s/t)，根据集合的保凸性，f(s/t, s/t)仍然是凸集。
  

2.6 共轭函数

不管f(x)是否是凸函数，共轭函数一定是凸函数。


引用知乎 周游[2]的论述，通过共轭函数，得到f(x)的闭包。

问题在于如果是一个任意的y,并不能找到一个最大值xy-f(x),就是说共轭函数有其定义域。

• 典型函数的共轭函数
  包络面只有这一条线， y ∈ { a } y \in \{a \} y∈{a}
  
  包络面如下图，$y\in (-\infty ,0)$
  
• 共轭函数的共轭函数
  如果原函数f(x)是封闭的凸函数，那么f**=xy-(xy-f(x))=f(x)
  如果f**,f(x)并不是凸函数，就能得到f(x)外包络的凸集
  

2.7 拟凸函数

2.7.1 拟凸函数的定义

定义$S_{\alpha }$关于x定义域中的子集。

$S_{\alpha }和S_{\beta }$的集合如下图所示。

从另一角度来看，$拟凸函数规定了在定义域内，只存在一个极值，不存在马鞍形的存在$。

2.7.2 拟凹函数

quasiconcave, -f 如果是quasiconvex,根据[3],拟凹函数的定义如下,
第一种定义：采用大于$\alpha$的区间

第二种定义，更加直觉，在

2.7.3 拟线性函数

quasilinear, 如果函数f(x)在某个区间内是单调的，则满足即使拟凸的、也是拟凹的

example:

用等高线表示$f(x_1,x_2)$,当$f(x_1,x_2)>\alpha$x

2.7.4 拟凸函数的等价定义/判定

• jensen 不等式
  
  

• 一阶条件
  因为f(x)是拟凸函数意味着定义域是凸集，当然可微的。对于f(x)是凸函数，函数本身对应的上境图是凸集，两者在纬度上相差1。
  

• 二阶条件
  类比于$x\in R$的情况，参考[4]
  

2.7.5 拟凸函数的保凸运算

对于拟凸函数，仍然倾向于从上境图的角度去考虑，对于上境图构成的集合，只有一个谷底，投影在定义域上是凸集。
这也意味着，如果如果函数图像不变，解集变化是保凸的，则新函数仍然是拟凸函数。
$第一类：函数改变了，定义域不变$

• 非负加权最大值
  $f_1,...,f_m是拟凸函数，则f是拟凸函数$
  
  
• 逐点最大和逐点上确界
  
  和凸函数同理
  $第二类：函数不变，定义域发生保凸变换$
• 复合函数
  
  从几何直觉来看，以C为分解点，h(f(x))仍然要先经历一个单调下降，然后再单调上升的过程，所以仍然是拟凸函数。
  
  g(x) =f(Ax + B)，如果f(x)是拟凸函数，则g(x)是拟凸函数。
  Ax+B是降维处理，仍然是拟凸的。
  
  线性分式$g(x)=f(\frac{Ax+B}{C^{T}x+d})$，如果f(x)是拟凸函数，g(x)是拟凸函数。
• 最小值
  从几何直觉上容易理解。
  

2.8 对数凸函数和对数凹函数

作用处理幂函数相关的问题，例如概率分布这类的。

2.8.1 典型的对数凸函数

• 功率谱$x^{\alpha }$
  
  经过log处理后，指数函数变成线性函数，是凸函数。
• 概率密度函数
  
  经过log处理后，高斯函数变成了2次函数，也是凸函数。

2.8.2 对数凸函数的性质

参考[5], f(x)=log(x)是单调递增的凹函数，根据凸函数复合性质，

• 二阶倒数
  对$logf(x)$求二阶导数，得到下面公式
  
  $g(x)=logf(x)$是凸函数，当下面的条件成立
  
• 复合函数性质
  如果f(x)是凹函数，则g(x)=log(f(x))也是凹函数。
  对于g(x)=logf(x), 则f(x)=expG(x)。$f^{\prime \prime }(x)=G^{\prime \prime }(x)expG(x)+G^{\prime 2}(x)expG(x)$
  如果g(x)是凸函数，则f(x)也是凸函数，这意味着对数凸函数的原函数也是凸函数
• 线性化1： 对数凹函数之积，仍然是对数凹函数
  两个凹函数f(x)、g(x)，$h(x)=log(f(x)g(x))=logf(x)+logg(x)$，h(x)仍然是凹函数。
• 线性化2：对数凸函数之和，仍然是对数凸函数
  对于积分$g(x)=log(f+g)=log(expF+expG)$,并且$F(x)=logf(x),G=logg(x)$是凸函数。
  通过求导容易得到g’’(x)>0,意味着，对数凸函数之和仍然是对数凸函数。
  下面这个对数凸函数在区域C上的积分，可以看成是一个个凸函数之和，所以g(x)的对数是凸函数。
  
• 线性化3： 对数凹函数积分，仍然是对数凹函数
  
  进行推广，如果f(x)、g(x)是对数凹函数，卷积仍然是对数凹函数
  

2.9 凸函数问题的几何分析

对于定义域时凸集，函数是凸函数，或者是拟凸函数，从几何的角度，直观分析这类问题，采用二维坐标分析，函数的数值采用等高线表示。

Rerences

[1] https://web.stanford.edu/class/ee364a/
[2] https://www.zhihu.com/search?type=content&q=%E5%85%B1%E8%BD%AD%E5%87%BD%E6%95%B0%20%20%E5%87%B8
[3] https://math.stackexchange.com/questions/2500035/whats-the-difference-between-quasi-concavity-and-concavity
[4] https://zhuanlan.zhihu.com/p/131604034
[5] https://zhuanlan.zhihu.com/p/132627576