【Boyd 凸优化】3. Convex Functions 凸函数

小写: $x$ 表示一维变量
粗体小写: $\mathbf{x}$ 表示n维向量
大写: $X$ 表示矩阵

1 凸函数的定义和例子

Def.1 如果函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的前域 $\mathbf{dom}f$ 是凸集, 且对于任意 $x,y\in \mathbf{dom}f$ 和任意 $\theta \in [0,1]$ 下式成立, 那么 $f$ 是凸函数:
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

1. 几何解释: 任意两点间的线段都在这两点之间的 $f$ 曲线之上.
2. 严格凸函数 (strictly convex function): 上述定义中的 $\theta \in (0,1)$ 和不等式符号改为小于号 $<$.
3. 如果函数 $f$ 是convex function, 那么 $-f$ 是 concave function.

Examples for scalar $x\in \mathbb{R}$:

1. 即是 convex 又是 concave:
   仿射函数(affine function): $f(x)=ax+b$ 对于任意 $a,b\in \mathbb{R}$.

2. convex functions:

   • 二次函数(quadratic function): $f(x)=x^2$
   • 指数函数(exponential function): $f(x)=\exp ax$ 对于任意 $a\in \mathbb{R}$
   • 幂函数(powers function): $f(x)=x^{\alpha }$, $\mathbf{dom}f={\mathbb{R}}_{++}$, 对于任意 $\alpha \ge 1$ 或 $\alpha \le 0$
   • 绝对值的幂函数(powers of absolute value): $f(x)=|x{|}^p$ 对于任意 $p\ge 1$
   • ReLu: f ( x ) = max ⁡ { 0 , x } f(x)=\max\{0,x\} f(x)=max{0,x}
   • 熵的负数(negative entropy): $f(x)=x\log x$,$\mathbf{dom}f={\mathbb{R}}_{++}$

3. concave functions:

   • 负二次函数(quadratic function): $f(x)=-x^2$
   • 幂函数(powers function): $f(x)=x^{\alpha }$, $\mathbf{dom}f={\mathbb{R}}_{++}$, 对于任意 $\alpha \in [0,1]$
   • 对数函数(logarithm): $f(x)=\log x$ ,$\mathbf{dom}f={\mathbb{R}}_{++}$
   • 熵(entropy): $f(x)=-x\log x$,$\mathbf{dom}f={\mathbb{R}}_{++}$
   • 负数部分: f ( x ) = min ⁡ { 0 , x } f(x)=\min\{0,x\} f(x)=min{0,x}

上述没有强调前域的函数, 其前域为 $\mathbf{dom}f=\mathbb{R}$, 即整个实数集. 而 ${\mathbb{R}}_{++}$ 为正实数集合(不包括 0).

Examples for vector $\mathbf{x}\in {\mathbb{R}}^n$:

1. 即是 convex 又是 concave:
   仿射函数(affine function): $f(\mathbf{x})=a^T\mathbf{x}+b$ 对于任意 $a,b\in {\mathbb{R}}^n$.
2. convex functions:
   • 范数函数(${\ell }_p$ norms): $f(\mathbf{x})=||\mathbf{x}|{|}_p=(|x_1{|}^p+...+|x_n{|}^p{)}^{1/p}$
   • 平方和函数(sum of square/ square of ${\ell }_2$ norm): $f(\mathbf{x})=x_1^2+...+x_n^2$
   • 极大值函数(max function): f ( x ) = max ⁡ ( x ) = max ⁡ { x 1 , . . . , x n } f(\mathbf{x})=\max(\mathbf{x})=\max\{x_1,...,x_n\} f(x)=max(x)=max{x1​,...,xn​}
   • 平滑最大值函数(log-sum-exp function): $f(\mathbf{x})=\text{LSE}(\mathbf{x})=\log (\exp x_1+...+\exp x_n)$

Examples for matrix $X\in {\mathbb{R}}^{m\times n}$:

1. 即是 convex 又是 concave:

   • 矩阵的迹(Trace): $f(X)=tr(X)$, d o m f = { X : X ∈ R n × n } \mathbf{dom} f=\{X:X\in\mathbb{R}^{n\times n}\} domf={X:X∈Rn×n} (方阵)
   • afftine function: $f(X)=tr(A^{T}X)+b={\sum }_{i=1}^m{\sum }_{j=1}^n{A}_{ij}{X}_{ij}+b$ 对于任意 $A\in {\mathbb{R}}^{m\times n},b\in \mathbb{R}$. 其中 $tr(A^{T}X)=<A,X>$, 内积.

2. convex functions:

   • 最大的特征值(max eigenvalue): $f(X)={\lambda }_{max}(X)$,$\mathbf{dom}f={\mathbf{S}}^n$. (n维对称阵)
   • 谱范数/最大奇异值(spectral norm/ maximum singular value): $f(X)=||X|{|}_2={\sigma }_{max}(X)=({\lambda }_{max}(X^{T}X){)}^{1/2}$

3. concave functions:

   • 最小的特征值(min eigenvalue): $f(X)={\lambda }_{min}(X)$,$\mathbf{dom}f=\mathbf{S}$
   • 对数行列式函数(log-determinant function): $f(X)=\log \det (X)$ ,$\mathbf{dom}f={\mathbf{S}}_{++}^n$. (n维正定矩阵, positive definite matrix)

2. 如何判断凸函数

1. 通过定义证明(或通过下面的方法1)
2. 通过二阶条件(下面的方法3)
3. 通过保留凸性的运算, 即 $f$ 由 $f_1,...,f_m$ 通过某些运算组成的, $f_i$ 相对更容易判断其凹凸性(下面的方法5)

接下来介绍这些方法.

3. 判断凸函数的方法1

$f:{\mathbb{R}}^n\to \mathbb{R}$ 是凸函数 $\iff$ 对于任意 $\mathbf{x}\in \text{dom }f$ 和 $\mathbf{y}\in {\mathbb{R}}^n$, $g(t)=f(\mathbf{x}+t\mathbf{y})$ 是变量为 $t$ 的凸函数, dom   g = { t ∣ x + t y ∈ dom f } \textbf{dom } g=\{t|\mathbf{x}+t\mathbf{y}\in\textbf{dom} f\} dom g={t∣x+ty∈domf}.
这个方法称为 Restriction of a convex function to a line, 即 $f$ 在某一条直线上的形状是否为凸. 可以用这个方法证明 log-determinant function 是凸函数.

4. 判断凸函数的方法2: 一阶条件 First-order condition

Def.2 如果 $f:{\mathbb{R}}^n\to \mathbb{R}$ 可微 (differentiable), 那么 $f$ 在点 $\mathbf{x}\in \text{dom }f$ 处的梯度存在, 为:
$$▽f(\mathbf{x})=(\frac{\partial f(x)}{\partial x_1},...,\frac{\partial f(x)}{\partial x_n})\in {\mathbb{R}}^n$$

凸函数的一阶条件 (first-order convexity condition):
假设 $f(\mathbf{x})$ 可微, 且其前域为凸集.

• $f$ 是凸函数 $\iff$ 对于任意 $\mathbf{x},\mathbf{y}\in \text{dom }f$ 下式成立:
  $$f(\mathbf{y})\ge f(\mathbf{x})+▽f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})$$
  右边的项是泰勒级数的一部分(Taylor series).

5. 判断凸函数的方法3: 二阶条件 Second-order condition

Def.3 如果 $f:{\mathbb{R}}^n\to \mathbb{R}$ 一个二次可微 (twice differentiable), 那么 $f$ 在点 $\mathbf{x}\in \text{dom }f$ 处的 Hessian 矩阵存在, 为:
H = ▽ 2 f ( x ) = ∂ 2 f ( x ) ∂ x T ∂ x = { ∂ 2 f ( x ) ∂ x i ∂ x j } H=\triangledown^2 f(\mathbf{x})=\frac{\partial^2 f(x)}{\partial \mathbf{\mathbf{x}}^T \partial \mathbf{x}}=\{\frac{\partial^2 f(\mathbf{x})}{\partial x_i \partial x_j}\} H=▽2f(x)=∂xT∂x∂2f(x)​={∂xi​∂xj​∂2f(x)​}
凸函数的二阶条件 (second-order convexity condition):
假设 $f(\mathbf{x})$ 二次可微, 且其前域为凸集.

• $f$ 是凸函数 $\iff$ 对于任意 $\mathbf{x}\in \text{dom }f$, 有:
  $$H={▽}^{2}f(\mathbf{x})⪰0$$
• $f$ 是严格凸函数 $\iff$ 对于任意 $\mathbf{x}\in \text{dom }f$, 有:
  $$H={▽}^{2}f(\mathbf{x})\succ 0$$

6. 判断凸函数的方法4: 利用上镜图(epigraph)

Def.4 函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的 $\alpha$-下水平集 ($\alpha$-sublevel set) 为:
C α = { x ∈ dom   f ∣ f ( x ) ≤ α } C_\alpha = \{\mathbf{x}\in \textbf{dom } f| f(\mathbf{x})\leq\alpha\} Cα​={x∈dom f∣f(x)≤α}

• $f$ 为凸函数 $\Rightarrow$ $f$ 的下水平集为凸集. (无法反推)

Def.5 函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ 的上镜图(epigraph)为:
$$\text{epi}f=\{(\mathbf{x},t)|\mathbf{x}\in \text{dom }f,f(\mathbf{x})\le t\}$$
即为 $f$ 图像上方的全部区域.

• $f$ 为凸函数 $\iff$ $\text{epi}f$ 为凸集.

7. 判断凸函数的方法5: 保留凸性的运算(Operations that preserve convexity)

跟第二章中介绍的(集合的)运算类似. 由于一维变量的函数很好证明 (二阶导大于等于0即可), 这章主要考虑当输入变量是 $n$ 维向量的情况.

1. 非负乘法:
   $f(\mathbf{x})$ 是凸函数且 $\alpha \ge 0$ $\Rightarrow$ $\alpha f(\mathbf{x})$ 是凸函数

2. 加法:
   $f_1(\mathbf{x})$ 和 $f_2(\mathbf{x})$ 是凸函数 $\Rightarrow$ $f_1(\mathbf{x})+f_2(\mathbf{x})$ 是凸函数, 结论可扩展到无限个凸函数相加和积分形式 $\int$.

3. 非负加权之和(nonnegative weighted sums):
   $f_i(\mathbf{x})$是凸函数且 ${\alpha }_i\ge 0$ $(i=1,...,n)$ $\Rightarrow$ ${\sum }_i^n{\alpha }_i{f}_i(\mathbf{x})$ 是凸函数, 同样结论可扩展到无限个凸函数相加和积分形式.

4. composition with affine function:
   $f(\mathbf{x})$ 是凸函数 $\Rightarrow$ $f(A\mathbf{x}+b)$ 是凸函数

5. pointwise maximum:
   $f_i(\mathbf{x})$是凸函数 $(i=1,...,n)$ $\Rightarrow$ max ⁡ i ∈ [ n ] { f i ( x ) } \max_{i\in[n]}\{f_i(\mathbf{x})\} maxi∈[n]​{fi​(x)} 是凸函数
   $f_i(\mathbf{x})$是凸函数 $(i=1,...,n)$ $\Rightarrow$ min ⁡ i ∈ [ n ] { f i ( x ) } \min_{i\in[n]}\{f_i(\mathbf{x})\} mini∈[n]​{fi​(x)} 是concave
   例子:
   f ( x ) = max ⁡ i ∈ [ m ] { a i T x + b i } f(\mathbf{x})=\max_{i\in[m]}\{a_i^T \mathbf{x}+b_i\} f(x)=maxi∈[m]​{aiT​x+bi​} 是凸函数, 等价于求 $A\mathbf{x}+b$ 最大的元素, $A\in {\mathbb{R}}^{m\times n}$ 是由 $a_i$ 组成, $b$ 为 n 维向量, 由 $b_i$ 组成.
   最大的 $r$ 个元素之和: $f(\mathbf{x})=x_{[1]}+x_{[2]}+...+x_{[r]}$ 是凸函数

6. pointwise supremum :
   $f(\mathbf{x},\mathbf{y})$对于每个 $\mathbf{y}\in \mathcal{A}$ 是关于 $\mathbf{x}$ 的凸函数 $\Rightarrow$ $g(\mathbf{x})={\sup }_{\mathbf{y}\in \mathcal{A}}f(\mathbf{x},\mathbf{y})$ 是凸函数.
   例子:
   集合 $C$ 的support function: $S_C(\mathbf{x})={\sup }_{\mathbf{y}\in C}{\mathbf{y}}^T\mathbf{x}$ 是凸函数.
   点 $\mathbf{x}$ 与集合 $C$ 之间最远的距离: $f(\mathbf{x})={\sup }_{\mathbf{y}\in C}||\mathbf{x}-\mathbf{y}||$ (任意norm 距离) 是凸函数.

7. 函数复合(Composition with scalar functions)
   假设 $f(\mathbf{x})=h(g(\mathbf{x}))$, 其中 $g:{\mathbb{R}}^n\to \mathbb{R}$, $h:\mathbb{R}\to \mathbb{R}$:
   $g$ 是凸函数, $h$ 是凸且非递减的函数$\Rightarrow$ $f(\mathbf{x})$是凸函数
   $g$ 是concave函数, $h$ 是凸且非递增的函数 $\Rightarrow$ $f(\mathbf{x})$是凸函数
   例子:
   $f(\mathbf{x})=\exp g(\mathbf{x})$, 若 g 是凸函数, 那么 f 是凸函数. (因为 exp 是单调递增的凸函数)
   $f(\mathbf{x})=1/g(\mathbf{x})$, 若 g 是 concave 且大于0, 那么 f 是凸函数. (因为当定义域大于0时, 1/x 是单调递减的凸函数).

8. 复合函数(对 g, h 没有维度约束)
   假设 $f(\mathbf{x})=h(g(\mathbf{x}))$, 其中 $g:{\mathbb{R}}^n\to {\mathbb{R}}^k$, $h:{\mathbb{R}}^k\to \mathbb{R}$, 也就是 $f(\mathbf{x})=h(g_1(\mathbf{x}),...,g_k(\mathbf{x}))$:
   对于全部 $i\in [k]$, $g_i$ 是凸函数, $h$ 是凸函数且 $h$ 对于第 $i$ 维输入是非递减的函数$\Rightarrow$ $f(\mathbf{x})$是凸函数
   对于全部 $i\in [k]$, $g_i$ 是concave, $h$ 是凸函数且 $h$ 对于第 $i$ 维输入是非递增的函数$\Rightarrow$ $f(\mathbf{x})$是凸函数
   对于全部 $i\in [k]$, $g_i$ 是affine, $h$ 是凸函数$\Rightarrow$ $f(\mathbf{x})$是凸函数

8. 拟凸函数(Quasiconvex function)

Def. 6 如果函数 $f(\mathbf{x})$ 的前域 $\text{dom }f$ 是凸集且下水平集$C_{\alpha }$ (对于任意 $\alpha$) 也是凸集, 那么 $f$ 为拟凸函数.

• $-f$ is quasiconcave $\Rightarrow$ $f$ is quasiconvex
• $f$ is quasiconvex and quasiconcave $\Rightarrow$ $f$ is quasilinear

例子:

1. $\sqrt{|x|}$ is quasiconcave
2. c e i l ( x ) = min ⁡ { z ∈ Z : z ≥ x } ceil(x)=\min\{z\in \mathbb{Z}: z\geq x\} ceil(x)=min{z∈Z:z≥x} is quasilinear
3. $\log (x)$ is quasilinear on $x>0$