《凸优化》学习笔记3-凸函数（第三章）

性质和例子

定义

函数$f:{\mathbf{R}}^n\to \mathbf{R}$是凸的，如果

1. 定义域$\mathbf{d}\mathbf{o}\mathbf{m}f$是凸集；
2. 对于任意$x,y\in \mathbf{d}\mathbf{o}\mathbf{m}f$，$0\le \theta \le 1$，有
   $f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$.

函数$f$是严格凸的，如果

1. 定义域$\mathbf{d}\mathbf{o}\mathbf{m}f$是凸集；
2. 对于任意$x,y\in \mathbf{d}\mathbf{o}\mathbf{m}f$，$x\ne y$，$0<\theta <1$，有
   $f(\theta x+(1-\theta )y)<\theta f(x)+(1-\theta )f(y)$.

一个重要的性质是函数$f$是凸函数的充要条件是，对于任意$x\in \mathbf{d}\mathbf{o}\mathbf{m}f$和$v$，有
g ( t ) = f ( x + t v ) ,   d o m g = { t ∣ x + t v ∈ d o m f } g(t)=f(x+tv),~\mathbf{dom}g=\{t|x+tv\in \mathbf{dom}f\} g(t)=f(x+tv), domg={ t∣x+tv∈domf}
是凸函数。

一阶条件

可微函数$f$是凸函数的充要条件是$\mathbf{d}\mathbf{o}\mathbf{m}f$是凸集，对于任意$x$，$y\in \mathbf{d}\mathbf{o}\mathbf{m}f$，有
$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x).$$

二阶条件

二阶可微函数$f$是凸函数的充要条件是$\mathbf{d}\mathbf{o}\mathbf{m}f$是凸集，对于任意$x\in \mathbf{d}\mathbf{o}\mathbf{m}f$，有
$${\nabla }^{2}f(x)\ge 0.$$
判断一个函数的凸性有多种方式，可以直接验证定义中的不等式是否成立，亦可以验证其Hessian矩阵是否正半定，或者可以将函数转换到与其定义域相交的任意直线上，通过得到的单变量函数判断原函数的凸性。

例子

$\mathbf{R}$上的函数

凸函数：

• 仿射函数：$ax+b$，对于任意$a$，$b$
• 指数函数：$e^{ax}$，对于任意$a$
• 幂函数：$x^a$（$x>0$），对于$a\le 0$或$a\ge 1$
• 绝对值幂函数：$|x{|}^p$，对于$p\ge 1$
• 负熵：$x\log x$（$x>0$）

凹函数：

• 仿射函数：$ax+b$，对于任意$a$，$b$
• 幂函数：$x^a$（$x>0$），对于$0\le a\le 1$
• 对数函数：$\log x$（$x>0$）

${\mathbf{R}}^n$上的函数

凸函数：

• 仿射函数： a T x + b a^Tx+b a