凸优化学习：PART3凸函数的扩展——拟凸函数和对数凸函数

拟凸函数（Quasi Convex function）

拟凸函数是非凸优化中较容易的一种

定义及例子

函数$f:{\mathbb{R}}^n\to \mathbb{R}$称为拟凸函数（或者单峰函数），如果其定义域及所有下水平集
S α = { x ∈ d o m f ∣ f ( x ) ≤ α } , α ∈ R S_{\alpha}=\{x\in\bold{dom}f|f(x)\leq \alpha\},\alpha\in \R Sα​={x∈domf∣f(x)≤α},α∈R
都是凸集。

$f$是拟凹函数，如果$-f$是拟凸函数，即每个上水平集 { x ∣ f ( x ) ≥ α } \{x|f(x)\geq \alpha\} {x∣f(x)≥α}都是凸集。

若某函数既是拟凸函数又是拟凹函数，其为拟线性函数。函数为拟线性函数，如果其定义域和所有水平集 { x ∣ f ( x ) = α } \{x|f(x)= \alpha\} {x∣f(x)=α}都是凸集。

$e^x$为拟线性函数：

• 凸函数与拟凸函数的关系

  凸函数一定是拟凸函数，但是拟凸函数不一定是凸函数（甚至有可能是凹函数）

• 拟凸函数的另一个名字：单模态函数

  不一定是凸问题，但是是比较简单的问题。但理论分析比较困难。

---

拟凸函数的例子：

---

关于凸函数的定义：

$f:{\mathbb{R}}^n\to \mathbb{R}$为凸，则$\mathbf{dom}f$为凸，$\forall x,y\in \mathbf{dom}f,0\le \theta \le 1,\theta f(x)+(1-\theta )f(y)\ge f(\theta x+(1-\theta )y)$

将上述的定义转换应用到拟凸函数：
max ⁡ { f ( x ) , f ( y ) } ≥ f ( θ x + ( 1 − θ ) y ) \max\{f(x),f(y)\}\geq f(\theta x +(1-\theta)y) max{f(x),f(y)}≥f(θx+(1−θ)y)
从定义中也可以得知：一个函数如果是凸函数，那么一定是拟凸函数。

---

拟凸函数的例子：

证明方式：$\alpha -$下水平集是否是凸集。

是一个子空间，所以一定是一个凸集。

该集合是一个多面体，故是一个凸集。

---

拟凸优化问题例子

例：向量的零范数$x\in {\mathbb{R}}^n，f(x)=||x|{|}_0$

问题：$\min ||x|{|}_0$

s.t. $x\in C$

• 方式1：转换

• 方式2：逼近

  逼近的另一种方式

  

可微拟凸函数

一阶条件

设函数$f:{\mathbb{R}}^n\to \mathbb{R}$可微，则$f$是拟凸函数的充要条件是，$\mathbf{dom}f$是凸集，且对于任意的$x,y\in \mathbf{dom}f$有：
$$f(y)\le f(x)\Rightarrow \nabla f(x{)}^T(y-x)\le 0$$
证明：

• 考虑最简单的一维情况：

  先证明$\Rightarrow$

  已知$f(x)$是拟凸函数，那么 max ⁡ { f ( x ) , f ( y ) } ≥ f ( θ x + ( 1 − θ ) y ) \max\{f(x),f(y)\}\geq f(\theta x+(1-\theta)y) max{f(x),f(y)}≥f(θx+(1−θ)y)

  设$f(y)\le f(x)$，那么$f(x)\ge f(\theta x+(1-\theta )y)$，则有$f(\theta x+(1-\theta )y)-f(x)\le 0$，等价于$f(\theta x+(1-\theta )y)-f(\theta x+(1-\theta )x)\le 0$，进一步等价为：
  $$\frac{f(\theta x+(1-\theta )y)-f(\theta x+(1-\theta )x)}{(1-\theta )(y-x)}(1-\theta )(y-x)\le 0$$
  当$\theta \to 1$时，上式等价于：
  $$f^{\prime }(x)(y-x)\le 0$$
  再证明$\Leftarrow$

  $\forall x,y\in \mathbf{dom}f，$均有$f(y)\le f(x)$则${\nabla }^{T}f(x)(y-x)\le 0$
  KaTeX parse error: Expected 'EOF', got '&' at position 2: &̲ \max\{f(y),f(x…

  上述证明不够合理，只能保证在$\theta \to 1$时成立，下面使用另一种证明方式：反证$f(z)>f(x)$的情况不存在

---

拟凸函数一阶偏导为零可能的情况：

二阶条件

凸函数的二阶条件：

拟凸函数的二阶条件：

$\mathbf{dom}f$为凸集，$\forall y\in {\mathbb{R}}^n$，且$y^T\nabla f(x)\geq 0\Rightarrow y^T\nabla2f(x)y> 0 $

对数凸函数与对数凹函数

定义

称$f:{\mathbb{R}}^n\to \mathbb{R}$对数凹，如果$x\in \mathbf{dom}f$有$f(x)>0$且$\log f$是凹函数。

称$f:{\mathbb{R}}^n\to \mathbb{R}$对数凸，如果$x\in \mathbf{dom}f$有$f(x)>0$且$\log f$是凸函数。

• 意义：很多问题都是乘积的形式，取对数后问题会变得简单。

• 二者与凹函数和凸函数有什么关系？

  • 若$f(x)$为$\log convex$，则$f$为凸函数

    $e^{\log f}$是凸函数，所以$f$是凸函数。

  • 若$f(x)$为$convave,f>0$，则$\log f$为对数凹