凸优化定义

课本：《凸优化》Stephen Boyd, Lieven Vandenberghe 著；王书宁 译；清华大学出版社

凸函数定义：

函数$f$：$R^n\to R$是凸的，如果dom $f$是凸集，且对于任意$x,y\in$ dom $f$和任意$0\le \theta \le 1$，有：
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

凸函数一阶条件：

假设$f$可微（即其梯度$▽f$在开集dom$f$内处处纯在），则函数$f$是凸函数的充要条件是dom$f$是凸集且对于任意$x,y\in$dom$f$，下式成立：
$$f(y)\ge f(x)+▽f(x{)}^T(y-x)$$

凸函数二阶条件：

现在假设函数$f$二阶可微，即对于开集dom$f$内的任意一点，它的Hessian矩阵或者二阶导数${▽}^{2}f$纯在，则函数$f$是凸函数的充要条件是，其Hessian矩阵是半正定阵：
$$即对于所有x\in domf，有{▽}^{2}f\ge 0$$

例子：

• 指数函数：对任意$a\in \mathbb{R}$，函数$e^{ax}$在$\mathbb{R}$上是凸的。
• 幂函数：当$a\ge 1$或$a\le 0$时，$x^a$在${\mathbb{R}}_{++}$上是凸函数，当$0\le a\le 1$时，$x^a$在${\mathbb{R}}_{++}$上是凹函数。
• 绝对值幂函数：当$p\ge 1$时，函数${\left|x\right|}^p$在$\mathbb{R}$上是凸函数。
• 对数函数：函数$x\text{log}x$在${\mathbb{R}}_{++}$是凹函数。