P14 保证函数凸性

保证函数凸性

非负加权和
$f_i...f_m$ 为凸，则 $f={\sum }_{i=1}^m{w}_i{f}_i$ 为凸 ， $w_i\ge 0,\forall i$

证:
设$f,g$都是凸函数，有$f,g$的二阶导数都是非负的；根据导数的运算法则有：$(f+g)$ 的二阶导数等于 $f,g$ 的二阶导数相加，因此$(f+g)$ 的二阶导数是非负的，所以$(f+g)$ 是凸函数。

若$f(x,y)$, 对任意 $y\in A$ $f(x,y)$ 均为凸
$(x,y)$ jointly convex
设$w(y)\ge 0,\forall y\in A$
$g(x)={\int }_{y\in A}w(y)f(x,y)dy$ 为凸

仿射映射
$f:R^n\mapsto RA\in R^{n\ast m}b\in R^n$
g ( x ) = f ( A x + b ) d o m g = { x ∣ A x + b ∈ d o m f } g(x)=f(Ax+b) \quad dom g = \lbrace x|Ax+b \in dom f \rbrace g(x)=f(Ax+b)domg={x∣Ax+b∈domf}
证：
令$x,y\in domg0\le \theta \le 1$
$$\begin{array}{rl}g(\theta x+(1-\theta )y)& =f(\theta Ax+(1-\theta )Ay+b)\\ & =f(\theta (Ax+b)+(1-\theta )(Ay+b))\\ & \le \theta f(Ax+b)+(1-\theta )f(Ay+b)\\ & =\theta g(x)+(1-\theta )g(y)\end{array}$$
所以：仿射函数为凸函数

$f_i{R}^n\mapsto R,i=1...m$为凸 $A\in R^n,b\in R$
$g(x)=A^T[f_1(x)....f_m(x){]}^T+b$
不能保证A都是正的，不是凸函数

两个函数的极大值函数
$f_1,f_2$为凸，定义
f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) } f(x)=max \lbrace f_1(x),f_2(x) \rbrace f(x)=max{f1​(x),f2​(x)}
$domf=dom{f}_1\bigcap dom{f}_2$
设:
$x,y\in domf0\le \theta \le 1$
f ( θ x + ( 1 − θ ) y ) = m a x { f 1 ( θ x + ( 1 − θ ) y ) , f 2 ( θ x + ( 1 − θ ) y ) } ≤ m a x { θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f 2 ( y ) } ≤ m a x { θ f 1 ( x ) , θ f 2 ( x ) } + m a x { ( 1 − θ ) f 1 ( y ) , ( 1 − θ ) f 2 ( y ) } = θ f ( x ) + ( 1 − θ ) f ( y ) \begin{aligned} f(\theta x + (1-\theta)y) &=max \lbrace f_1(\theta x + (1-\theta)y), f_2(\theta x + (1-\theta)y) \rbrace \\ &\leq max \lbrace \theta f_1(x) + (1-\theta)f_1(y),\theta f_2(x) + (1-\theta)f_2(y) \rbrace \\ &\leq max \lbrace \theta f_1(x), \theta f_2(x) \rbrace + max \lbrace (1-\theta)f_1(y), (1-\theta)f_2(y) \rbrace \\ &=\theta f(x) + (1-\theta)f(y) \end{aligned} f(θx+(1−θ)y)​=max{f1​(θx+(1−θ)y),f2​(θx+(1−θ)y)}≤max{θf1​(x)+(1−θ)f1​(y),θf2​(x)+(1−θ)f2​(y)}≤max{θf1​(x),θf2​(x)}+max{(1−θ)f1​(y),(1−θ)f2​(y)}=θf(x)+(1−θ)f(y)​

例:
向量中r个最大元素的和, $x\in R^n$
$x[i]$ 第i大元素
$f(x)={\sum }_{i=1}^{r}x[i]$
f ( x ) = max ⁡ { x i 1 + . . . + x i r ∣ 1 ≤ i 1 . . . ≤ i r ≤ n } f(x)=\max \lbrace x_{i1} + ... + x_{ir} |1 \leq i_1... \leq i_r \leq n \rbrace f(x)=max{xi1​+...+xir​∣1≤i1​...≤ir​≤n}

无限个凸函数极大值
$f(x,y)$对于x为凸,$\forall y\in A$
$g=su{p}_{y\in A}f(x,y)$

例:
实对称阵的最大特征值
$f(x)=\lambda max(x)domf=S^m$
$xy=\lambda y$
$y^{T}xy=y^T\lambda y$
$y^{T}xy=\lambda ||y|{|}_2^2$
$\lambda =\frac{y^{T}xy}{||y|{|}_2^2}$

$\lambda =y^{T}xy||y|{|}_2=1$
λ m a x ( x ) = s u p { y T x y    ∣    ∣ ∣ y ∣ ∣ 2 = 1 } \lambda max(x)=sup \lbrace y^T xy \;| \;||y||_2=1 \rbrace λmax(x)=sup{yTxy∣∣∣y∣∣2​=1}