凸优化学习-（九）凸函数

凸优化学习

今天开始学习凸函数了。

学习笔记

一、凸函数的定义

1

$$\begin{gathered} f:R^n\to R为凸\iff \text{dom}f为凸\forall x,y\in \text{dom}f0\le \theta \le 1有 \\ f(\theta x+(1-\theta )y\le \theta f(x)+(1-\theta )f(y) \end{gathered}$$

2、一阶条件

$$\begin{gathered} 若f可微，则f:R^n\to R为凸\iff \text{dom}f为凸\forall x,y\in \text{dom}f,有 \\ f(y)\ge f(x)+\nabla f^T(x)(y-x) \end{gathered}$$
本质就是对于凸函数的一点做切线，凸函数要高于这条切线。

3、二阶条件

$$\begin{gathered} 若f:R^n\to R二阶可微，则f:R^n\to R为凸\iff \text{dom}f为凸 \\ {\nabla }^{2}f(x)\ge 0\forall x\in \text{dom}f \end{gathered}$$
即二阶偏导大于等于零，$\text{Hessain}矩阵$半正定。

二、一些例子

例1
凸函数的扩展依然是凸函数。
凸函数的扩展，形如：
$$\begin{gathered} f:R^n\to R为凸\text{dom}f\in R^n \\ \tilde{f}=\{\begin{array}{r}f(x)x\in \text{dom}f\\ +\infty x\notin \text{dom}f\end{array} \end{gathered}$$

例2
二次函数，形如：
$$\begin{gathered} f(x)=\frac{1}{2}{x}^T\text{P}x+q^{T}x+r \\ f:R^n\to R\text{dom}f=R^n \\ \text{P}\in {\text{S}}^{n}q\in R^{n}r\in R \end{gathered}$$
当$\nabla f^2(x)=\text{P}$正定时二次函数为凸。

例3
形如：
$$f(x)=\frac{1}{x^2}x\ne 0x\in R$$
即使$f^{\prime \prime }(x)=6x^{-4}>0$，但由于它的定义域非凸，因此它不是凸函数。

例4
仿射函数，形如：
$$f(x)=Ax+b$$
其中$f^{\prime \prime }(x)=0$，因此它既是凸的又是凹的。
例5
指数函数，形如：
$$f(x)=e^{-x}x\in R$$
是凸的。

个人思考

判断一个函数是凸的，用定义其实是最直接但是难度比较高的方法。我觉得应当记住一些典型的凸函数如仿射函数、Hessain矩阵半正定的二次函数等，它们经过组合会产生很多新的函数，判断这些函数是否为凸只要看它们组合的方法是否为保持函数凸性的方法就可以了。

纸质笔记