什么是凸函数

1.定义

• 对于函数 f(x) ，如果其定义域 domf 是凸的，且对于 ∀x,y∈domf ， 0≤θ≤1 ， 有 
  

  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  则， f(x) 是凸函数。

• 例： 
  仿射函数： ax+b  
  指数函数： eax  
  幂函数： xα (其中， x∈R++ ,  α>1  或 α<0 ) 
  绝对值幂函数： |x|p ,  p≥1  
  其他： xlogx ,  x∈R++

• 凹函数实例: 
  仿射函数： ax+b  
  幂函数： xα (其中， x∈R++ ,  0≤α≤1 )

2.凸函数判定条件

• 2.1 一阶充要条件 
  
  f(y)≥f(x)+∇f(x)T(y−x)
• 2.2 二阶充要条件 
  
  ∇2f(x)⪰0
• 2.3 Jensen不等式 
  若 f(x) 是凸函数，则对 0≤θ≤1 , 有 
  
  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  进一步可得： 
  
  f(Ex)≤Ef(x)

3.凸运算

• 非负线性组合(nonnegative weighted sum) 
  若 f(x) 凸，则数乘  αf ,  (α≥0)  和加法  f1+f2  对凸集封闭

• 仿射组合函数(composition with affine function) 
  若 f(x) 凸，则 f(Ax+b) 凸

• 最大值和极值(pointwise maximum and supremum) 
  若 f1,f2,...,fn 凸，则 
  

  f(x)=max{f1(x),f2(x),...,fn(x)}
  
  也为凸函数

• 复合函数(composition) 
  若 g:Rn→R ， h:R→R ，则对于复合函数 
  

  f(x)=h(g(x))
  
  若 g 凸， h 凸且非减，有 f 凸； 
  若 g 凹， h 凸且非增，有 f 凸； 
  例： 
  当 g(x) 为凸函数时， exp{g(x)} 为凸函数 
  当 g(x) 为凹函数且为正时， 1g(x) 为凸函数

4.共轭函数

• 定义： 
  函数 f(x) 的共轭函数为： 
  
  f∗(y)=supx∈domf(yTx−f(x))
  
  共轭函数有一个非常特别的性质，在对偶问题中有着非常重要的应用。这个性质就是： 
  无论 f(x) 是否为凸函数，其共轭函数都为凸函数

5.拟凸函数

• 对于函数 f(x) ，若其定义域以及水平子集
  Sα={x|f(x)≤α}
  对于任意的 α 都为凸集，则 f(x) 为拟凸函数。
• 实例： 
  |x|−−√ ， logx

6.log-concave函数

• 定义 
  对于正函数 f(x) ， 如果 logf(x) 是凹函数，则 f(x) 是log-concave函数，即对 0≤θ≤1 ，有
  f(θx+(1−θ)y)≥f(x)θf(y)1−θ
• 实例： 
  正态分布函数是log-concave