6-1 一些数学基础

6-1 一些数学基础

1.向量范数

$$x=(x_1,x_2,x_3,...,x_n)$$

1. $l_1$范数:$||x|{|}_1={\sum }_{i=1}^n|x_i|$
2. $l_{\infty }$范数:$||x|{|}_{\infty }=\underset{i=1,...,n}{\max }|x_i|$
3. $l_p$范数:$||x|{|}_1=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$
4. 特例$l_0$“范数”:$||x|{|}_0=（x中非零元个数）$，显然它不是范数
5. 椭球范数：$A\in R^n$是对称正定矩阵，$||x|{|}_A=\sqrt{x^{T}Ax}$
   证明：（椭球范数是向量范数）

• 显然$||x|{|}_A>\theta$,若$x=\theta$，则上式右端为0；若右端为0，由于A为实对称正定（可考虑二次型$f(x)=a_1{x}_1^2+a_2{x}_2^2+...+a_n{x}_n^2$其中a为A的特征值）故$x=\theta$.
• $a\in R,||ax|{|}_A=\sqrt{(ax{)}^{T}Aax}=\sqrt{a^2{x}^{T}Ax}=|a|\sqrt{x^{T}Ax}=a||x|{|}_A$
• $x,y\in R^n,||x+y|{|}_A=\sqrt{(x+y{)}^{T}A(x+y)}=\sqrt{x^{T}Ax+y^{T}Ay}\le \sqrt{x^{T}Ax}+\sqrt{y^{T}Ay}$ 。
• 证毕

6. 对偶范数： ∣ ∣ x ∣ ∣ ∗ = s u p { x T z ∣ ∣ ∣ z ∣ ∣ ≤ 1 } ||x||_*=sup\{x^Tz |\quad ||z||\leq 1\} ∣∣x∣∣∗​=sup{xTz∣∣∣z∣∣≤1}(验证这是一个向量范数)
   证明：

• 取$z=\frac{x}{||x||}$,显然$||x|{|}_{\ast }\ge x^{T}z\ge 0,x=0\Rightarrow ||x|{|}_{\ast }=0;||x|{|}_{\ast }=0\Rightarrow x=0$
• 正齐次性显然
• 三角不等式显然。
• 证毕

2.矩阵范数

$$A\in R^{n\times m}$$

1. 行和范数：$||A|{|}_{\infty }=\underset{i=1,...,n}{\max }{\sum }_{j=1}^m|a_{ij}|$
2. 列和范数：$||A|{|}_{\infty }=\underset{j=1,...,m}{\max }{\sum }_{i=1}^n|a_{ij}|$
3. 谱范数：$||A|{|}_2=\sqrt{\rho (A^{T}A)}$
4. $F$范数：所有元素绝对值求和
5. 相容范数：设$||\cdot |{|}_p,||\cdot |{|}_v$分别是两个不同的范数，若$||AB||\le ||A|{|}_p||B|{|}_v$则称两范数相容。

3.Von Neumann定理

设相容矩阵范数$||\cdot ||$满足$||I||=1$,若矩阵$H\in L(R^n)$满足$||H||<1$,则$(I-H{)}^{-1}$存在,且$$||(I-H{)}^{-1}||<\frac{1}{1-||H||}$$
若$A\in L(R^n)$非奇异且$||A^{-1}(B-A)||<1$则$B$也非奇异，且$$||B^{-1}||<\frac{||A^{-1}||}{1-||A^{-1}(B-A)||}$$
第二个式子也常写作:
\qquad 若$A$非奇异且$||A^{-1}||<\alpha ,||A-B||<\beta ,\alpha \beta <1$则$B$也非奇异且$$||B^{-1}||<\frac{\alpha }{1-\alpha \beta }$$

4.仿射集合

如果通过集合$C\subset R^n$任意两个不同点的直线仍在集合中，则称集合C是仿射的。
例：（线性方程组的解集）设线性方程组的解集 C = { x ∣ A x = b } C=\{x|Ax=b\} C={x∣Ax=b},则C是仿射集。
证明：设$x_1,x_2\in C$，既$A{x}_1=b,A{x}_2=b$,则$\forall \theta \in R$有：
$$A(\theta x_1+(1-\theta )x_2)=\theta A{x}_1+(1-\theta )A{x}_2=b$$

• 仿射包：称由集合$C\in R^n$中点的所有放射组合组成的集合称为仿射包。
  仿射包是包含集合C的最小的妨设集合
• 仿射维数：仿射包的维数

5.凸集

• 凸集：如果C中任意两点间的线段仍在集合中，则称集合是凸集。
  注：仿射集是凸集合
• 凸组合：我们称C中元素系数和为1的线性组合为C的凸组合$({\theta }_1{x}_1+...+{\theta }_k{x}_k,{\theta }_1+...+{\theta }_k=1)$
• 凸包：所有凸组合的集合，记为$convC$
  注：$convC$总是凸的，它是包含C的最小的凸集。
• 保凸运算：伸缩、平移、投影、部分和

仿射集和凸集的几个例子：

• 空集、单点集、全空间均是$R^n$的仿射子集（自然凸）
• 直线仿射
• 线段凸不仿射
• 射线凸不仿射
• $R^n$空间的球凸

6.多元实函数与微商

• 连续
  称函数$f:R^n\to R,在x_0\in R$处连续，若$\forall ϵ>0,\exists \delta =\delta (ϵ,x_0)>0$使得$\forall x\in S(x_0,\delta )\subset D,有f(x)\in S(f(x_0),ϵ)$.若$f$在开集$D$的每点都连续，则称$f$在开集D的每点都连续。
• G可微
  设$D\in R^n$为开集，称映像$F:D\to R^m$于内点$x\in R^n$处$G$可微，若存在线性算子$A\in L(R^n,R^m)$使得对任何方向$h\in R^n$以及$x+th\in D$，有$$\underset{t\to 0}{\lim }\frac{1}{t}(F(x+th)-F(x))=Ah$$，此时称$A$为$F$在$x$处的$G-$微商。
  上式还有另一等价形式：
  $$\underset{t\to 0}{\lim }\frac{1}{t}||F(x+th)-F(x)-tAh||=0$$
• F可微
  \qquad 设$D\subset {\mathbb{R}}^n$为开集，称映像$F:D\to {\mathbb{R}}^n$于内点$x\in {\mathbb{R}}^n$处$F-$可微，若存在线性算子$A\in L({\mathbb{R}}^n,{\mathbb{R}}^m)$使得$$\underset{h\to 0}{\lim }\frac{1}{\Vert h\Vert }\Vert F(x+h)-F(x)-Ah\Vert =0$$此时称$A$在$x$处$F-$可微。
• 连续即可微
  \qquad 映像$F$如前所述。若$F$在$x$处$F-$可微,则其在该点连续，并且存在$\delta >0,c>0$,使得$\bar{S}(x,\delta )\in D$且$$\Vert F(x+h)-F(x)\Vert \le c\Vert h\Vert ,when\Vert h\Vert \le \delta .$$
  证明:由于x为内点，故存在${\delta }_1>0$使得当$||h||\le {\delta }_1$时$x+h\in D$故存在正数$\delta \le {\delta }_1$使得$$||F(x+h)-F(x)-F^{\prime }(x)h||\le ϵ||h||,||h||\le \delta$$证毕。

7.连锁法则

• 映像的连锁法则
  \qquad 设映像$F:D_F\to {\mathbb{R}}^m$于$x\in {\mathbb{R}}^n$处$G-$可微，$G:D_G\to {\mathbb{R}}^p$于$F(x)\in {\mathbb{R}}^m$处$F-$可微，则$H=G\cdot F$于$x$处$G-$可微，且$$H^{\prime }(x)=G^{\prime }(F(x))F^{\prime }(x).$$此外，若$F$于$x$点$F-$可微，则$H$亦然。
  推论：若映像$F:D_F\to {\mathbb{R}}^m$于$x\in {\mathbb{R}}^n$处弱（强）可微，$A\in L({\mathbb{R}}^m,{\mathbb{R}}^p)$,则$H=AF$于$x$处弱（强）可微且$$H^{\prime }(x)=A{F}^{\prime }(x).$$

• 中值公式
  \qquad 若映像$F:D\subset {\mathbb{R}}^n\to {\mathbb{R}}^m$于线段$[\bar{x},\bar{x}+\Delta x]\subset D$上$G-$可微，则$$\Vert F(\bar{x}+\Delta x)-F(\bar{x})\Vert \le \underset{0<\xi <1}{\sup }\Vert F^{\prime }(\bar{x}+\xi \Delta x)\Vert \Vert \Delta x\Vert$$
  推论1：若映像$F:D\subset {\mathbb{R}}^n\to {\mathbb{R}}^m$于凸集$D_0\subset D$上$G-$可微，则对$\forall x,y,z\in D_0$有$$\Vert F(y)-F(x)-F^{\prime }(z)(y-x)\Vert \le \underset{0<\xi <1}{\sup }\Vert F^{\prime }(x+\xi (y-x)-F^{\prime }(z))\Vert \Vert y-x\Vert$$
  推论2：连续$G-$可微即$F-$可微.

8.牛莱公式

\qquad 若映像$F:D\subset {\mathbb{R}}^n\to {\mathbb{R}}^m$于凸集$D_0\subset D$上$G-$可微，且$F^{\prime }(x)$于$D$上$Lipschitz$连续$(\mathcal{X})$，则对$\forall \bar{x},\bar{x}+\Delta x\in D_0$有$$\Vert F(\bar{x}+\Delta x)-F(\bar{x})-F^{\prime }(\bar{x}\Delta x)\Vert \le \frac{1}{2}\mathcal{X}\Vert \Delta x{\Vert }^2.$$

9.函数的凸、严格凸、一致凸

• 凸：若定义在凸集C上的泛函$f$满足：存在$\alpha \in （0,1）$使得$$f(\alpha x_1+(1-\alpha )x_2)\le \alpha f(x_1)+(1-\alpha )f(x_2)\text{\hspace{1em}(1)}$$则称泛函f是凸的，其中$x_1,x_2\in C$.
  $⟺$若$f$在$C$上$G$可微，则$f$凸的充要条件为$$f^{\prime }(x)(y-x)\le f(y)-f(x)$$
• 严格凸：若$(1)$不等号严格成立则称严格凸。
  $⟺$若$f$在$C$上$G$可微，则$f$严格凸的充要条件为$$f^{\prime }(x)(y-x)<f(y)-f(x)$$
• 一致（强）凸：若存在常数$c>0$使得$$\alpha f(x_1)+(1-\alpha )f(x_2)\ge f(\alpha x_1+(1-\alpha )x_2)+c\alpha (1-\alpha )||x_1-x_2|{|}^2\text{\hspace{1em}(2)}$$则称一致凸。$⟺$若$f$在$C$上$G$可微，则$f$一致凸的充要条件为$$f^{\prime }(x)(y-x)+c||y-x|{|}^2\le f(y)-f(x)$$
  显然，一致凸$⟹$严格凸$⟹$凸
  例：证明$f(x)=x^4$严格凸但不存在任何$c>0$使得一致凸。
  证：$f(\alpha x+(1-\alpha )y)=(\alpha x+(1-\alpha )y{)}^4<\alpha x^4+(1-\alpha )y^4$
  又因为$\forall c>0$都有$$\sum _{k=0}^4{C}_4^k{\alpha }^{4-k}{x}^{4-k}(1-\alpha {)}^k{y}^k<c\alpha (1-\alpha )||x-y|{|}^2$$故不存在任何$c>0$使得(2)式成立。

10.$\alpha -$下水平集

函数$f:R^n\to R$的$\alpha -$下水平集定义为 C α = { x ∈ d o m f ∣ f ( x ) < α } C_\alpha=\{x\in domf|f(x)<\alpha\} Cα​={x∈domf∣f(x)<α}.
例：对于任意$\alpha$，凸函数的下水平集仍为凸集
证明：设$x,y\in C_{\alpha }$,则$f(x),f(y)\le \alpha$,于是$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)\le \alpha$
证毕。

11.次梯度

\qquad 设$f(x)，x\in X$为实值函数，称$g$为$f$在$x$点处的次梯度,若$$\forall y,s.t.g^T(x-y)\le f(y)-f(x)$$；$x$点处的所有次梯度组成的集合称为该点处的次微分，记作$\partial f(x)$。
\qquad 设$f$为定义于凸集$X$上的实值函数。若$\forall x\in X,\partial f(x)\ne \varnothing$,则$f$凸。反之，若$f$凸，则对任意$x\in int(X),\partial f(x)\ne \varnothing .$

关于凸、严格凸、一致凸的相关内容：

例：

证明：由于${\nabla }^{2}f(x^{\ast })$正定，故它的特征值${\lambda }_1,...,{\lambda }_k>0$,于是$max\lambda ||d|{|}_2^2\le d^T\nabla f(x^{\ast })d={\lambda }^2{d}_1^2+...+{\lambda }_k{d}_k^2\ge min(\lambda )||d|{|}_2^2$第一、二式得证。同理由梯度的定义第三式得证。

12.Lipschitz光滑

Lipschitz连续条件$$\Vert f(y)-f(x)\Vert \le L(y-x),\forall x,y$$
上式为条件$[0]$

注：$f$为$R^n$上的L-光滑的凸函数时，对$\forall x,y,\alpha \in [0,1]，[0]-[7]$等价。

13.Jensen不等式及其扩展

利用Jensen不等式证明$H\stackrel{..}{o}lder$不等式：对$p>1,\frac{1}{p}+\frac{1}{q}=1,x,y\in R^n$有$$\Vert x{y}^T{\Vert }_1\le \Vert x{\Vert }_p\Vert y{\Vert }_q$$.
证明： 由$-logx$的凸性以及$Jensen$不等式我们有$$-log(\theta a+(1-\theta )b)\le -\theta loga-(1-\theta )logb$$
而由基本不等式可知$$a^{\theta }{b}^{(1-\theta )}\le \theta a+(1-\theta )b$$其中$a,b>0,\theta \in (0,1)$.令$$a=\frac{|x_i{|}^p}{{\sum }_{j=1}^n|x_j{|}^p},b=\frac{|y_i{|}^p}{{\sum }_{j=1}^n|y_j{|}^p},\theta =\frac{1}{p},$$可以得到如下不等式$$a^{\frac{1}{p}}{b}^{\frac{1}{q}}\le =\frac{|x_i{|}^p}{p{\sum }_{j=1}^n|x_j{|}^p}+\frac{|y_i{|}^p}{q{\sum }_{j=1}^n|y_j{|}^p}$$由$a,b$的定义两端对$i$求和即可得$H\stackrel{..}{o}lder$不等式。

14.保凸运算

• 非负加权求和保凸：若$f$凸则$\forall \alpha >0,s.t.af$凸（可由凸函数定义证得），若$f_1,f_2$凸则$f_1+f_2$凸(可由定义证得)故，若$f_1,f_2,...f_n$凸则任意$w_1,w_2,...w_n>0$有$f=w_1{f}_1+w_2{f}_2+...+w_n{f}_n$凸
• 无限项非负加权求和及积分：由第一条可知凸函数无限项非负加权求和仍为凸函数，故若${\int }_{\mathcal{A}}f(x)dx$存在，则积分关于$x$凸（定积分的定义及求解：分割、近似、求和、取极限）
• 凸函数的复合仿射变换仍凸
• 凸函数的逐点最大函数仍为凸函数：$f_1,f_2$均为凸函数，则$f(x)=max(f_1(x),f_2(x))，domf=dom{f}_1\cap dom{f}_2$仍为凸函数。
  证明：$$f(\theta x+(1-\theta )y)=max(f(\theta x+(1-\theta )y)\le max(\theta f_1(x)+(1-\theta )f_1(y),\theta f_2(x)+(1-\theta )f_2(y))=\theta max(f_1(x),f_2(x))+(1-\theta )max(f_1(y),f_2(y))=\theta f(x)+(1-\theta )f(y)$$
  

14. 单调性

15.凸性与单调性

上式通常写作：${\nabla }^{2}f\ge \gamma I$,凸和严格凸对应着${\nabla }^{2}f\ge 0,{\nabla }^{2}f>0$
举例：

16.拟凸函数

函数$f:R^n\to R$称为拟凸函数（单峰函数），若其定义域及所有下水平集 S α = { x ∈ d o m f ∣ f ( x ) ≤ α } , α ∈ R S_\alpha=\{x\in domf|f(x)\leq \alpha\},\alpha\in R Sα​={x∈domf∣f(x)≤α},α∈R都是凸集。若函数拟凹则$-f$一定拟凸，（拟凹）及所有上水平及均凸。
注：拟凸与凸无任何关系，拟凸函数未必凸，甚至可能不连续。
拟线性函数：既拟凸又拟凹

17.拟凸、伪凸、凸