凸优化笔记(3)

范数

• $R^n$空间的范数,$P(x),x\in R^n$
  • $p(ax)=|a|p(x)$
  • $p(x+y)\le p(x)+p(y)$
  • $p(x)=0\iff x=0$
• 证明范数是凸函数
  $\forall x,y\in R^n,\forall 0\le \theta \le 1$
  $$p(\theta x+(1-\theta )y)\le p(\theta x)+p((1-\theta )y)$$$$p(\theta x+(1-\theta )y)\le \theta p(x)+(1-\theta )p(y)$$
• 零范数不是范数，也不是凸函数
  $\Vert x{\Vert }_0=$非零元素数目
  考虑$x\in R$并进行扩展
  $\{\begin{array}{l}1,x\ne 0\\ 0,x=0\end{array}$

极大值函数

• f ( x ) = m a x { x 1 , ⋯   , x n } f(x)=max\{x_1,\cdots,x_n\} f(x)=max{x1​,⋯,xn​}
  $\to x,y\in R^n,\forall 0\le \theta \le 1$
  f ( θ x + ( 1 − θ ) y ) = m a x { f ( θ x i + ( 1 − θ ) y i ) } f(\theta x+(1-\theta)y)=max\{f(\theta x_i+(1-\theta)y_i)\} f(θx+(1−θ)y)=max{f(θxi​+(1−θ)yi​)}
  ≤ θ m a x { x i } + m a x { ( 1 − θ ) y i } \leq \theta max\{x_i\}+max\{(1-\theta)y_i\} ≤θmax{xi​}+max{(1−θ)yi​}
  $=\theta f(x)+(1-\theta )f(y)$
• 但是这种极大值函数不可导,所以要进行解析逼近$(log-sum-up)$
  $f(x)=log(e^{x_1}+\cdots +e^{x_n})$
  → m a x { x 1 , ⋯   , x n } ≤ f ( x ) ≤ m a x { x 1 , ⋯   , x n } + l o g ( n ) \rightarrow max\{x_1,\cdots,x_n\} \leq f(x) \leq max\{x_1,\cdots,x_n\}+log(n) →max{x1​,⋯,xn​}≤f(x)≤max{x1​,⋯,xn​}+log(n)
  $\to$证明该函数是凸的,通过凸函数第四个定义来进行证明
  $\to \frac{\partial f}{\partial x_i}=\frac{e^{x_i}}{e^{x_1}+\cdots +e^{x_n}}$,再求二阶导
  • $i\ne j$
    $\to \frac{{\partial }^{2}f}{\partial x_i\partial x_j}=\frac{-e^{x_i}{e}^{x_j}}{(e^{x_1}+\cdots +e^{x_n}{)}^2}$
  • $i=j$
    $\to \frac{{\partial }^{2}f}{\partial x_i\partial x_j}=\frac{-e^{x_i}{e}^{x_i}+e^{x_i}(e^{x_i}+\cdots +e^{x_n})}{(e^{x_1}+\cdots +e^{x_n}{)}^2}$

然后通过判断该函数二阶导的Hessian矩阵是不是半正定的即可

几何平均

• $f(x)=(x_1\times \cdots \times x_n{)}^{\frac{1}{n}},x\in R_{++}^n$

行列式的对数

• $f(x)=log(det(x)),domf\in S_{++}^n$定义域是对称正定矩阵
  $\to$ 当$n>1$ 时, $\forall z\in S_{++}^n,t\in R,\forall v\in R^{n\times n}$ v必须是对称的
  $\to z+tv\in S_{++}^n$
  $\to g(t)=f(z+tv)$
  $\to log(det(z+tv))$
  $\to log(det(z^{\frac{1}{2}}(I+t{z}^{\frac{-1}{2}}v{z}^{\frac{-1}{2}})z^{\frac{1}{2}}))$
  $\to log(det(z))+log(det(I+t{z}^{\frac{-1}{2}}v{z}^{\frac{-1}{2}}))$
  $\to log(det(z))+{\sum }_{i=1}^{n}log(1+t{\lambda }_i)$(后面一步来自行列式的值等于特征值乘积)
  $\to g^{{}^{\prime }}(t)=\sum _i\frac{{\lambda }_i}{1+t{\lambda }_i}$
  $\to g^{{}^{\prime \prime }}(t)=-\sum _i\frac{{\lambda }_i^2}{(1+t{\lambda }_i{)}^2}\le 0$

保持函数凸性

1、非负加权和

• $\forall f_i,w_i\ge 0,f_i$为凸函数$g=\sum w_i{f}_i$也是凸函数,易证
• $f(x,y),\forall y\in A,f(x,y)$ 为凸,$f(x,y)$不一定是一个凸函数
  $\to w(y)\ge 0,\forall y\in A$
  $\to g(x)={\int }_{y\in A}w(y)f(x,y)dy$是凸函数

2、仿射映射

• $f:R^n\to RA\in R^{n\times m},b\in R^n$
  $g(x)=f(Ax+b)Ax+b\in domf$ 易证不难
• $f_i:R^n\to R,i=1,\cdots ,m$为凸, $A\in R^n,b\in R$
  $g(x)=A^T[f_i,\cdots ,f_n]+b$不是一个凸函数,因为带加权的凸函数组合，必须要保证权重是正的

3、两个函数的极大值函数

• $f_1,f_2$为凸函数,则 f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) } f(x)=max\{f_1(x),f_2(x)\} f(x)=max{f1​(x),f2​(x)}也是凸函数,$domf=dom{f}_1\bigcap domf{f}_2$
• 向量中$r$个最大元素的和,$x\in R^n$
  $x[i]$是第$i$大元素
  $f(x)={\sum }_i^{r}x[i]$
  → f ( x ) = m a x { x i + ⋯ + x r ∣ i 1 , ⋯   , i r } \rightarrow f(x)=max\{x_i+\cdots+x_r|i_1,\cdots,i_r\} →f(x)=max{xi​+⋯+xr​∣i1​,⋯,ir​}首先该函数中的每一个都算是仿射变换函数
  → f i ( x ) = { A i x ∣ i 1 , ⋯   , i r } \rightarrow f_i(x)=\{A_ix|i_1,\cdots,i_r\} →fi​(x)={Ai​x∣i1​,⋯,ir​}
  → f ( x ) = m a x { f i ( x ) ∣ i ∈ C n r } \rightarrow f(x)=max\{f_i(x)|i \in C_n^r\} →f(x)=max{fi​(x)∣i∈Cnr​}
• $f(x,y)$对于$x$为凸,$\forall y\in A:$ $$g=supf(x,y)$$无限个凸函数的最大值也是一个凸函数
  • 例子：实对称矩阵的最大特征值
    $\to f(x)={\lambda }_{max}(x),domf=S^{m\ast m}$
    $\to xy=\lambda y$
    $\to y^{T}xy=y^T\lambda y$
    $\to y^{T}xy=\lambda \Vert y{\Vert }^2$
    $\to \lambda =\frac{y^{T}xy}{\Vert y{\Vert }^2}$
    假设$\Vert y{\Vert }^2=1$
    → λ m a x ( x ) = s u p { y T x y ∣ ∥ y ∥ 2 = 1 } \large \rightarrow \lambda_{max}(x)=sup\{y^Txy|\|y\|^2=1\} →λmax​(x)=sup{yTxy∣∥y∥2=1}
    $\to$上述式子是一个凸函数,因为$y^{T}xy$是一个关于x的线性变换,不影响凸性,$sup$函数也不影响凸性

4、函数的组合

• $h:R^k\to R,g:R^n\to R^k$
  f = h ⋅ g = h ( g ( x ) ) : R n → R d o m f = { x ∈ d o m g ∣ g ( x ) ∈ d o m h } f=h \cdot g=h(g(x)):R^n \rightarrow R \quad domf=\{x \in domg|g(x)\in domh\} f=h⋅g=h(g(x)):Rn→Rdomf={x∈domg∣g(x)∈domh}

• 一维：$k=n=1$假设为实数空间

  • $domf=domh=domf=R$
  • $h,g$都是二阶可微

• $f^{{}^{\prime \prime }}(x)=h^{{}^{\prime \prime }}(g(x))g^{{}^{\prime }}(x{)}^2+h^{{}^{\prime }}(g(x))g^{{}^{\prime \prime }}(x)\ge 0$

  • $h$为凸,不降$g$为凸,则$f$为凸函数
  • $h$为凸,不增$g$为凹,则$f$为凸函数
  • $h$为凹,不降$g$为凹,则$f$为凹函数
  • $h$为凹,不增$g$为凸,则$f$为凹函数

实际情况下,下面的几个条件都不能够满足

• 高维：$n,k\ge 1$

  • $h,g$二阶不可微

• 需要将$h$进行一下扩展得到$\hat{h}$

  • $h$为凸,$\hat{h}$不降$g$为凸,则$f$为凸函数
  • $h$为凸,$\hat{h}$不增$g$为凹,则$f$为凸函数
  • $h$为凹,$\hat{h}$不降$g$为凹,则$f$为凹函数
  • $h$为凹,$\hat{h}$不增$g$为凸,则$f$为凹函数

• 证明上述第一个: $h$为凸,$\hat{h}$不降$g$为凸,则$f$为凸函数
  $\to \forall x,y\in domf,0\le \theta \le 1,g$为凸,$x,y\in domg,g(x),g(y)\in domh$
  $\to h$为凸,故$domh$为凸,$g(x),g(y)\in domh$
  $\to g(\theta x+(1-\theta )y)\le \theta g(x)+(1-\theta )g(y)$
  $\to f(\theta x+(1-\theta )y)=h(g(\theta x+(1-\theta )y))$
  $\rightarrow $需要证明子问题：$g(\theta x+(1-\theta)y) \in domh$
  $\to$假设$g(\theta x+(1-\theta )y)\notin domh$,对于$h$的扩展$\hat{h}$有
  $\to \hat{h}(g(\theta x+(1-\theta )y)\le \hat{h}(\theta g(x)+(1-\theta )g(y))$
  $\to$如果$g(\theta x+(1-\theta )y$不在$domh$中,那么左式值为正无穷,此时如果还要保证上式的成立,必须保证$\theta g(x)+(1-\theta )g(y)$是正无穷,无意义
  $\to$即：$g(\theta x+(1-\theta )y)\in domh$
  $\to f(\theta x+(1-\theta )y)=h(g(\theta x+(1-\theta )y))\le h(\theta g(x)+(1-\theta )g(y))$
  $=\theta h(g(x))+(1-\theta )h(g(y))$
  $=\theta f(x)+(1-\theta )f(y)$