凸优化学习-（十一）保持函数凸性的操作

凸优化学习

今天学习保持函数凸性的操作。

学习笔记

一、非负加权和。

形如：
$$若f_1\cdots f_m，则f\sum _{i=1}^m{w}_i{f}_i为凸w_i\ge 0,\forall i$$
或：
$$\begin{gathered} 若f(x,y)对任意y\in A,f(x,y)均为凸，且\forall y\in Aw(y)\ge 0,则 \\ g(x)={\int }_{y\in A}w(y)f(x,y)\text{d}y为凸 \end{gathered}$$
第二个其实就是无数凸函数非负加权和。需要说明的是，其中$f(x,y)$对于$x,y$是联合凸的，即$\text{jointly convex}$，对于$x$或$y$则不一定凸。

二、仿射映射

1.变量仿射

有 凸 函 数 f : R n → R , 则 函 数 g ( x ) = f ( A x + b ) 为 凸 ， 其 中 A ∈ R m × n b ∈ R m dom g = { A x + b ∈ dom f } 有凸函数f:R^n\rightarrow R,则函数g(x)=f(\textbf{A}x+b)为凸，其中\\ \textbf A \in R^{m×n}\quad b\in R^m\quad \text{dom}g=\lbrace\textbf Ax+b\in \text{dom}f\rbrace 有凸函数f:Rn→R,则函数g(x)=f(Ax+b)为凸，其中A∈Rm×nb∈Rmdomg={Ax+b∈domf}

2.函数仿射

$$若：f_i:R^n\to R,i=1,\cdots ,m为凸，则g(x)=A^T[f_1(x)\cdots f_m(x){]}^T+bA\in R^n,b\in R为凸。$$

三、多个凸函数的极大值函数为凸

形如：
f ( x ) = max ⁡ { f i ( x ) } i = 1 , ⋯   , n , f i ( x ) 为 凸 函 数 f(x)=\max \lbrace f_i(x)\rbrace\qquad i=1,\cdots,n,f_i(x)为凸函数 f(x)=max{fi​(x)}i=1,⋯,n,fi​(x)为凸函数
$f(x)$为凸函数，$\text{dom}f=\text{dom}{f}_1\cap \text{dom}{f}_2$
当$n\to +\infty$时，也可写为：
$$\begin{gathered} 若f(x,y)对x为凸函数，\forall y\in A则 \\ g=\underset{y\in A}{\sup }f(x,y)为凸函数 \end{gathered}$$
例1：
f ( x ) = max ⁡ { x 2 , x } f(x)=\max\lbrace x^2,x\rbrace f(x)=max{x2,x}

例2：向量中r个最大元素和
形如：
f ( x ) = ∑ i = 1 r x [ i ] = max ⁡ { x i 1 + ⋯ + x i r ∣ 1 ≤ i 1 ≤ ⋯ ≤ i r ≤ n } \begin{aligned} f(x) &=\sum^r_{i=1}x[i]\\ & =\max\lbrace x_{i_1}+\cdots+x_{i_r}\mid 1\le i_1\le\cdots\le i_r\le n\rbrace \end{aligned} f(x)​=i=1∑r​x[i]=max{xi1​​+⋯+xir​​∣1≤i1​≤⋯≤ir​≤n}​
其中$x[i]$是指排序第$i$大的元素。
这个问题等价于任意$r$个求和找最大，相当于极大值函数的仿射映射。
例3：实对称阵的最大特征值为凸
形如：
$$f(x)={\lambda }_{\max }(\text{X})\text{dom}f=S^m$$
是凸函数。
证明：
$设\lambda 为一个特征值，y为特征向量，有：$
X ⋅ y = λ ⋅ y y T X y = y T λ y ⇔ y T X y = λ ∥ y ∥ 2 2 ⇔ λ = y T X y λ ∥ y ∥ 2 2 ⇔ λ = y T X y , ∥ y ∥ 2 2 = 1 时 ⇔ λ m a x ( X ) = sup ⁡ { y T X y ∣ ∥ y ∥ 2 2 = 1 } \begin{aligned} & & \textbf X\cdot y&=\lambda\cdot y\\ & &y^T \textbf X y&=y^T\lambda y\\ \Leftrightarrow& & y^T \textbf X y&=\lambda\|y\|_2^2\\ \Leftrightarrow& &\lambda&=\frac{y^T \textbf X y}{\lambda\|y\|_2^2}\\ \Leftrightarrow& &\lambda&= y^T \textbf X y,\|y\|_2^2=1时\\ \Leftrightarrow& &\lambda_{max}(\textbf X)&=\sup\lbrace y^T\textbf X y\mid\|y\|_2^2=1\rbrace\\ \end{aligned} ⇔⇔⇔⇔​​X⋅yyTXyyTXyλλλmax​(X)​=λ⋅y=yTλy=λ∥y∥22​=λ∥y∥22​yTXy​=yTXy,∥y∥22​=1时=sup{yTXy∣∥y∥22​=1}​

四、函数组合

八条结论很重要，需要判断函数凸性的时候勤查询。
形如：
f ( x ) = h ( g ( x ) ) dom f = { x ∈ dom g ∣ g ( x ) ∈ dom h } h : R k → R g : R n → R k f : h ∘ g : R n → R f(x)=h\big(g(x)\big)\qquad \text{dom}f=\lbrace x\in\text{dom}g\mid g(x)\in \text{dom} h\rbrace\\ h:R^k\rightarrow R\qquad g:R^n\rightarrow R^k\qquad f:h\circ g:R^n\rightarrow R f(x)=h(g(x))domf={x∈domg∣g(x)∈domh}h:Rk→Rg:Rn→Rkf:h∘g:Rn→R
1°.设所有函数二阶可微
$$f^{\prime \prime }(x)=h^{\prime \prime }(g(x))g^{\prime }(x{)}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$$
有如下四条结论：
$$\begin{array}{rlrl}f凸& & \iff & 1.h为凸，不降，g为凸\\ & & & 2.h为凸，不增，g为凹\\ f凹& & \iff & 3.h为凹，不降，g为凹\\ & & & 4.h为凹，不增，g为凸\end{array}$$
2°.设所有函数二阶不可微
$$\begin{array}{rlrl}f凸& & \iff & 5.h为凸，\tilde{h}不降，g为凸\\ & & & 6.h为凸，\tilde{h}不增，g为凹\\ f凹& & \iff & 7.h为凹，\tilde{h}不降，g为凹\\ & & & 8.h为凹，\tilde{h}不增，g为凸\end{array}$$
例1：
若$g$为凸， exp ⁡ { g ( x ) } \exp\lbrace g(x)\rbrace exp{g(x)}为凸。
利用准则1判断即可。
例2：
若$g$为凹，$g>0$，$\log (g(x))$为凹。
利用准则7判断即可。
例3：
若$g$为凹，$g>0,\frac{1}{g(x)}$为凸。

个人思考

八个准则要使用好，个人总结遇到函数凸性判断步骤：
1.先判断定义域是不是凸集。
2.通过函数组合判断。
3.通过定义判断。

纸质笔记