凸优化学习-（十）凸函数的例子

凸优化学习

今天是凸函数的举例和讨论

学习笔记

一、指数函数

形如：
$$f(x)=e^{ax}$$
是凸函数。

二、幂函数

形如：
$$f(x)=x^{a}x\in R_{++}$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\{\begin{array}{ll}\ge 0& a\ge 1或a\le 0\\ \le 0& 0\le a\le 1\end{array}$$
二阶偏导大于零时为凸函数。

绝对值的幂函数

形如：
$$f(x)=|x{|}^{p}x\in R_{++}$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\{\begin{array}{ll}p(p-1)x^{p-2}& x\ge 0\\ p(p-1)x^{p-2}& x\le 0\end{array}$$
这里分类讨论是因为一阶偏导有负号，二阶偏导又消失了，所以是一样的结果。
可以得出：
$$\{\begin{array}{ll}p>1& 凸\\ p=1& 不可微但为凸\\ p<1& 需讨论\end{array}$$

三、对数函数

形如：
$$f(x)=\text{ln}xx\in R_{++}$$
一定是凸函数。

负熵

形如：
$$f(x)=x\text{ln}x$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\frac{1}{x}>0$$
为严格凸函数。

四、范数

有$R^n$空间的范数$p(x)x\in R^n$，其满足：
$$\{\begin{array}{ll}& 1.p(ax)=|a|p(x)\\ & 2.p(x+y)\le p(x)+p(y)\\ & 3.p(x)=0\iff x=0\end{array}$$
其中性质2被称为三角不等式。
证明：有$R^n$空间的范数为凸函数。
对$\forall x,y\in R^{n}0\le \theta \le 1$
根据性质2：$p(\theta x+(1-\theta )y\le p(\theta x)+p((1-\theta )y)$
根据性质3，上式右边等于：$\theta p(x)+(1-\theta )p(y)$
所以其为凸函数。
注意
零范数不是范数，也不是凸函数，只是表示矩阵稀疏情况而已。

五、极大值函数

形如：
f ( x ) = max { x 1 , ⋯   , x n } x ∈ R n f(x)=\text{max} \lbrace x_1,\cdots , x_n\rbrace\qquad x\in R^n f(x)=max{x1​,⋯,xn​}x∈Rn
一定是凸函数。
证明：
对于$\forall x,y\in R^n\forall 0\le \theta \le 1$
f ( θ x + ( 1 − θ ) y ) = max ⁡ { θ x i + ( 1 − θ ) y i , i = 1 , ⋯   , n } ≤ θ max ⁡ { x i , i = 1 , ⋯   , n } + ( 1 − θ ) max ⁡ { y i , i = 1 , ⋯   , n } = θ f ( x ) + ( 1 − θ ) f ( y ) \begin{aligned} f\big(\theta x+(1-\theta)y\big) &=\max\lbrace\theta x_i+(1-\theta)y_i,i=1,\cdots,n\rbrace\\ & \le \theta \max\lbrace x_i,i=1,\cdots,n\rbrace+(1-\theta)\max\lbrace y_i,i=1,\cdots,n\rbrace\\ & =\theta f(x)+(1-\theta)f(y) \end{aligned} f(θx+(1−θ)y)​=max{θxi​+(1−θ)yi​,i=1,⋯,n}≤θmax{xi​,i=1,⋯,n}+(1−θ)max{yi​,i=1,⋯,n}=θf(x)+(1−θ)f(y)​
主要思想就是分部和极大小于等于分部极大和。
例1：极小极大问题
形如：
$$\underset{x}{\min }\underset{y}{\max }f(x,y)$$
是个凸问题。
例2：解析逼近
因为极大值函数是没办法求导的，因此求值很困难，这里提出一种函数可以逼近极大值函数，它是一个凸函数。
$\text{log-sum-up}$函数，形如：
$$f(x)=\log (e^{x_1},+\cdots +e^{x_n})x\in R$$
对于一个极大值函数和$\text{log-sum-up}$函数，有：
max ⁡ { x 1 , ⋯   , x n } ≤ f ( x ) ≤ max ⁡ { x 1 , ⋯   , x n } + log ⁡ n \max\lbrace x_1,\cdots,x_n\rbrace\le f(x)\le \max\lbrace x_1,\cdots,x_n\rbrace+\log n max{x1​,⋯,xn​}≤f(x)≤max{x1​,⋯,xn​}+logn
近似误差最大为$\log n$。

六、几何平均

形如：
$$f(x)=(x_1,\cdots ,x_n{)}^{\frac{1}{n}}x\in R_{++}^n$$
是凹函数。
例1：行列式的对数
形如：
$$f(x)=\log \det (x)\text{dom}f=S_{++}^n$$
是凹函数。

个人思考

判断函数是否为凸函数，主要使用定义一和定义三（二阶条件）。其中，如果函数可微，那么肯定是二阶条件优先。

纸质笔记