判断函数凹凸性

一阶条件

假设$f$可微，则函数$f$是凸函数的充要条件是$domf$是凸集且对于任意$x,y\in domf$, $f(y)⩾f(x)+\nabla f(x{)}^T(y-x)$成立。

二阶条件

假设$f$二阶可微，则函数$f$是凸函数的充要条件是：其$Hessian$矩阵是半正定阵，即对于所有的$x\in domf$,有${\nabla }^{2}f(x)⪰0$，
对于在$R$上的函数，上式可简化为$f^{\prime \prime }(x)⩾0$。

例子：

二次函数$f:{\mathbf{R}}^n\to \mathbf{R}$，其定义域为$domf=R^n$,其表达式为$f(x)=(1/2)x^{T}Px+q^{T}x+r$，其中$P\in {\mathbf{S}}^n,q\in {\mathbf{R}}^n,r\in \mathbf{R}$。
一阶导为$f^{\prime }(x)=(1/2)\times 2Px+q^T$,二阶导为$f^{\prime \prime }(x)=P$,
当且仅当$P⪰0$时，函数$f$是凸的。

注意：在判断凸函数时，不管是一阶条件还是二阶条件，都必须满足$domf$是凸集这个条件。例如：凸集这个前提条件必须满足。例如，考虑函数$f(x)=1/x^2$, 其定义域为$domf=x\in R|x\ne 0$,对于所有$x\in domf$均满足$f^{\prime \prime }(x)>0$,但是函数$f(x)$并不是凸函数。

判断凸集的方法：某个集合是否为凸集，看集合中任意两点之间的线段是否在集合中，若在集合中才为凸集。

几个凸函数/凹函数

定义域在$R$上的一些函数，自变量为$x$。

●指数函数。对任意$a\in R$，函数$e^{ax}$在$R$上是凸的。

●幂函数。当$a\ge 1$或$a\le 0$时, $x^a$在$R_{++}$上是凸函数，当$0\le a\le 1$时，$a^{xa}$在$R_{++}$上是凹函数。

●绝对值幂函数。当$p\ge 1$时，函数$|x|P$在$R$上是凸函数。

●对数函数。函数$logx$在$R_{++}$上是凹函数。

●负熵。函数$xlogx$在其定义域上是凸函数。(定义域为$R_{++}$或者$R^{＋}$，当$x=0$时定义函数值为0.)

我们可以通过二阶导数半正定或半负定来判断上述函数是凸的或是凹的。

定义域在$R^n$上的一些函数。

●范数。$R$上的任意范数均为凸函数。

证明：如果函数$f:{\mathbf{R}}^n\to \mathbf{R}$是范数,任取$0\le \theta \le 1$,有$f(\theta x+(1-\theta )y)\le f(\theta x)+f((1-\theta )y)=\theta f(x)+(1-\theta )f(y)$，当范数满足齐次性时，上述不等式取等号。

●最大值函数。函数 f ( x ) = max ⁡ { x 1 , ⋯   , x n } f(x)=\max \left\{x_{1}, \cdots, x_{n}\right\} f(x)=max{x1​,⋯,xn​}在$R^n$上是凸的。

证明：对于任意的$0\le \theta \le 1$,函数$f(x)={\max }_i{x}_i$满足

$\begin{array}{rl}f(\theta x+(1-\theta )y)& =\underset{i}{\max }\left(\theta x_i+(1-\theta )y_i\right)\\ & ⩽\theta \underset{i}{\max }{x}_i+(1-\theta )\underset{i}{\max }{y}_i\\ & =\theta f(x)+(1-\theta )f(y)\end{array}$

●二次-线性分式函数。 函数$f(x,y)=x^2/y$,其定义域为$\mathrm{dom}f=\mathbf{R}\times {\mathbf{R}}_{++}=\left\{(x,y)\in {\mathbf{R}}^2|y>0\right\}$是凸函数。

证明：对于$y>0$,有

${\nabla }^{2}f(x,y)=\frac{2}{y^3}\left[\begin{array}{cc}{y}^2& -xy\\ -xy& x^2\end{array}\right]=\frac{2}{y^3}\left[\begin{array}{c}y\\ -x\end{array}\right]{\left[\begin{array}{c}y\\ -x\end{array}\right]}^T⪰0$

●指数和的对数。函数$f(x)=\log \left(e^{x_1}+\cdots +e^{x_n}\right)$在$R^n$上是凸函数。这个函数可以看成最大值函数的可微(实际上是解析)近似，因为对任意$x$,不等式 max ⁡ { x 1 , ⋯   , x n } ⩽ f ( x ) ⩽ max ⁡ { x 1 , ⋯   , x n } + log ⁡ n \max \left\{x_{1}, \cdots, x_{n}\right\} \leqslant f(x) \leqslant \max \left\{x_{1}, \cdots, x_{n}\right\}+\log n max{x1​,⋯,xn​}⩽f(x)⩽max{x1​,⋯,xn​}+logn成立。

证明：指数和的对数函数的$Hessian$ 矩阵为${\nabla }^{2}f(x)=\frac{1}{{\left(1^{T}z\right)}^2}\left(\left(1^{T}z\right)\mathrm{diag}(z)-z{z}^T\right)$，其中$z=\left(e^{x_1},\cdots ,e^{x_n}\right)$，为了说明${\nabla }^{2}f(x)⪰0$，我们证明对任意$v$，有$v^T{\nabla }^{2}f(x)v⩾0$，即

$v^T{\nabla }^{2}f(x)v=\frac{1}{{\left(1^{T}z\right)}^2}\left(\left({\sum }_{i=1}^n{z}_i\right)\left({\sum }_{i=1}^n{v}_i^2{z}_i\right)-{\left({\sum }_{i=1}^n{v}_i{z}_i\right)}^2\right)⩾0$，

上述不等式可以应用Cauchy-Schwarz不等式$(a^{T}a)(b^{T}b)\ge (a^{T}b{)}^2$得到，此时向量$a$和$b$的分量为$a_i=v_i\sqrt{z_i},b_i=\sqrt{z_i}$.

●几何平均。几何平均函数$f(x)={\left({\prod }_{i=1}^n{x}_i\right)}^{1/n}$在定义域$\mathrm{dom}f={\mathbf{R}}_{++}^n$上是凹函数。

证明：其$Hessian$矩阵${\nabla }^{2}f(x)$可以通过下面两个式子给出：

$\frac{{\partial }^{2}f(x)}{\partial x_k^2}=-(n-1)\frac{{\left({\prod }_{i=1}^n{x}_i\right)}^{1/n}}{n^2{x}_k^2},\frac{{\partial }^{2}f(x)}{\partial x_k\partial x_l}=\frac{{\left({\prod }_{i=1}^n{x}_i\right)}^{1/n}}{n^2{x}_k{x}_l}\forall k\ne l$，

因此${\nabla }^{2}f(x)$具有如下表达式：

${\nabla }^{2}f(x)=-\frac{{\prod }_{i=1}^n{x}_i^{1/n}}{n^2}\left(n\mathrm{diag}\left(1/x_1^2,\cdots ,1/x_n^2\right)-q{q}^T\right)$，

其中，$q_i=1/x_i$，要证明${\nabla }^{2}f(x)⪯0$，即对于任意的向量$v$，有

$v^T{\nabla }^{2}f(x)v=-\frac{{\prod }_{i=1}^n{x}_i^{1/n}}{n^2}\left(n{\sum }_{i=1}^n{v}_i^2/x_i^2-{\left({\sum }_{i=1}^n{v}_i/x_i\right)}^2\right)⩽0$，

上述不等式可以应用Cauchy-Schwarz不等式$(a^{T}a)(b^{T}b)\ge (a^{T}b{)}^2$得到，只需令向量$a=1$，向量$b$的分量为$b_i=v_i/x_i$.

●对数----行列式。 函数$f(X)=logdetX$在定义域$\mathrm{dom}f={\mathbf{S}}_{++}^n$上是凹函数。

证明：可将其转化为任意直线上的单变量函数来验证它是凹的。令$X=Z+tV$,其中$Z,V\in S^n$,定义$g(t)=f(Z+tV)$，自变量$t$满足$Z+tV>0$。不失一般性， 假设$t=0$满足条件，即$Z>0$。我们有

$\begin{array}{rl}g(t)& =\log \det (Z+tV)\\ & =\log \det \left(Z^{1/2}\left(I+t{Z}^{-1/2}V{Z}^{-1/2}\right)Z^{1/2}\right)\\ & =\sum _{i=1}^n\log \left(1+t{\lambda }_i\right)+\log \det Z\end{array}$，

其中${\lambda }_1,\cdots ,{\lambda }_n$是矩阵$Z^{-1/2}V{Z}^{-1/2}$的特征值。因此下式成立

$g^{\prime }(t)={\sum }_{i=1}^n\frac{{\lambda }_i}{1+t{\lambda }_i},g^{\prime \prime }(t)=-{\sum }_{i=1}^n\frac{{\lambda }_i^2}{{\left(1+t{\lambda }_i\right)}^2}$，

因为$g^{\prime \prime }(t)⩽0$，所以函数$f$是凹的。