矩阵范数学习

矩阵范数

定义

设$A\in {\mathbb{C}}^{m\times n}$,按某一法则在${\mathbb{C}}^{m\times n}$上规定$A$的一个实值函数，记作$\Vert A\Vert$,它满足下面4个条件：
（1）非负性：如果$A\ne 0$，则$\Vert A\Vert >0$;如果$A=0$，则$\Vert A\Vert =0$
（2）齐次性：对于任意的$k\in \mathbb{C},\Vert kA\Vert =\left|k\right|\Vert A\Vert$
（3）三角不等式：$\forall A,B\in {\mathbb{C}}^{m\times n},\Vert A+B\Vert \le \Vert A\Vert \Vert B\Vert$
（4）次乘性：当矩阵乘积$AB$有意义时，若有
$$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$$

则称$\Vert A\Vert$为矩阵范数

（如果次乘性的不等号反向，则幂等矩阵的矩阵范数为0，与非负性矛盾；
次乘性保证了矩阵幂级数的敛散性的“合理性”）

常用的矩阵范数

设$A\in C^{m\times n}$
$$\begin{gathered} \Vert A{\Vert }_{m_1}=\sum _{i=1}^m\sum _{i=1}^n\left|a_{ij}\right| \\ \Vert A{\Vert }_{m_{\infty }}=n\cdot \underset{i,j}{\max }\left|a_{ij}\right| \\ \Vert A{\Vert }_F=\Vert A{\Vert }_{m_2}=(\sum _{i=1}^m\sum _{i=1}^n{\left|a_{ij}^2\right|}^2{)}^{\frac{1}{2}} \end{gathered}$$

等价

设$A\in {\mathbb{C}}^{m\times n}$,$\Vert A\Vert$是${\mathbb{C}}^{m\times n}$上的矩阵范数，则${\mathbb{C}}^{m\times n}$上的任意两个矩阵范数等价

相容

设$A\in {\mathbb{C}}^{m\times n},x\in {\mathbb{C}}^n$,如果取定的向量范数$\Vert x\Vert$和矩阵范数$\Vert A\Vert$满足
$$\Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert$$
则称矩阵范数$\Vert A\Vert$与向量范数$\Vert x\Vert$是相容的

算子范数

设$A\in {\mathbb{C}}^{m\times n},x=(x_1,\cdots ,x_n{)}^T\in {\mathbb{C}}^n$,且在${\mathbb{C}}^n$中已规定了向量的范数（即${\mathbb{C}}^n$是$n$维赋范线性空间），定义
$$\Vert A\Vert =\underset{\Vert x\Vert \ne 0}{\sup }\frac{\Vert Ax\Vert }{\Vert x\Vert }=\underset{\Vert x\Vert =1}{\max }\Vert Ax\Vert$$
则上式定义了一个与向量范数$\Vert \cdot \Vert$相容的矩阵范数，称为向量范数 $\Vert \cdot \Vert$诱导的矩阵范数或算子范数

证明：
需要证明这个矩阵范数满足4条性质以及相溶性

相溶性：
设$y\ne 0,x=\frac{1}{\Vert y\Vert }y,\Vert x\Vert =1$
∥ A y ∥ = ∥ A ( ∥ y ∥ ) x ∥ = ∥ y ∥ ∥ A x ∥ ≤ ∥ y ∥ ∥ A ∥ = ∥ A ∥ ∥ y ∥ \begin{aligned} &\quad \Vert Ay \Vert \\ &= \Vert A(\Vert y \Vert) x \Vert\\ &= \Vert y \Vert \Vert Ax \Vert\\ &\le \Vert y \Vert \Vert A \Vert\\ &= \Vert A \Vert \Vert y \Vert \end{aligned} ​∥Ay∥=∥A(∥y∥)x∥=∥y∥∥Ax∥≤∥y∥∥A∥=∥A∥∥y∥​
非负性：
若$A\ne 0$，则可以找到$\Vert x\Vert =1$的向量$x$，使得$Ax\ne 0$,从而$\Vert Ax\Vert \ne 0$
所以$\Vert A\Vert =\underset{\Vert x\Vert =1}{\max }\Vert Ax\Vert >0$
当$A=0$,一定有$\Vert A\Vert =\underset{\Vert x\Vert =1}{\max }\Vert 0x\Vert =0$

齐次性：
对于$\forall k\in \mathbb{C}$,有
$$\Vert kA\Vert =\underset{\Vert x\Vert =1}{\max }\Vert kAx\Vert =\left|k\right|\underset{\Vert x\Vert =1}{\max }\Vert Ax\Vert =\left|k\right|\Vert A\Vert$$

三角不等式：
对于矩阵$A+B$，可以找到向量$x_0$,使得
$$\Vert A+B\Vert =\Vert (A+B)x_0\Vert (\Vert x_0\Vert =1)$$
于是
$$\begin{array}{rl}& \Vert A+B\Vert \\ & =\Vert (A+B)x_0\Vert \\ & =\Vert A{x}_0+B{x}_0\Vert \\ & \le \Vert A{x}_0\Vert +\Vert B{x}_0\Vert \\ & \le \Vert A\Vert \Vert x_0\Vert +\Vert B\Vert \Vert x_0\Vert \\ & =\Vert A\Vert +\Vert B\Vert \end{array}$$

次乘性：
对于矩阵$AB$，可以找到向量$x_0$,使得
$$\Vert AB{x}_0\Vert =\Vert AB\Vert (\Vert x_0\Vert =1)$$
于是
$$\begin{array}{rl}& \Vert AB\Vert \\ & =\Vert AB{x}_0\Vert \\ & =\Vert A(B{x}_0)\Vert \\ & \le \Vert A\Vert \Vert B{x}_0\Vert \\ & \le \Vert A\Vert \Vert B\Vert \Vert x_0\Vert \\ & =\Vert A\Vert \Vert B\Vert \end{array}$$
证毕

常见的算子范数

设$A\in {\mathbb{C}}^{m\times n},x\in {\mathbb{C}}^n$,则从属于向量$x$的三种范数$\Vert x{\Vert }_1,\Vert x{\Vert }_2,\Vert x{\Vert }_{\infty }$的算子范数依次是
（1）
$$\Vert A{\Vert }_1=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$
称为列范数
（2）
$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\max }(A^{H}A)}$$
称为谱范数
（3）
$$\Vert A{\Vert }_{\infty }=\underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$
称为行范数

证明：
（1）
对于任何非零向量$x$，设$\Vert x{\Vert }_1=1$,则
$$\begin{array}{rl}& \Vert Ax{\Vert }_1\\ & =\sum _{i=1}^m\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|\\ & \le \sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}\right|\left|x_j\right|\\ & =\sum _{j=1}^n\sum _{i=1}^m\left|a_{ij}\right|\left|x_j\right|\\ & =\sum _{j=1}^n(\sum _{i=1}^m\left|a_{ij}\right|)\left|x_j\right|\\ & \le \underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|\sum _{j=1}^n\left|x_j\right|\\ & =\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|\end{array}$$
所以
$$\Vert Ax{\Vert }_1\le \underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$
设在$j=j_0$时，${\sum }_{i=1}^m\left|a_{ij}\right|$达到最大值，即
$$\sum _{i=1}^m\left|a_{i{j}_0}\right|=\underset{1\le j\le n}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$
去向量$x_0=(0,\cdots ,0,1,0,\cdots 0{)}^T$
其中第$j_0$个分量为$1$,其余为$0$，显然$\Vert x{\Vert }_1=1$
$$\Vert A{x}_0{\Vert }_1=\sum _{i=1}^m\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|=\sum _{i=1}^m\left|a_{i{j}_0}\right|=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$
于是
$$\Vert A{\Vert }_1=\underset{\Vert x{\Vert }_1=1}{\max }\Vert Ax{\Vert }_1=\underset{j}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$

(2)
$$\Vert A{\Vert }_2=\underset{\Vert x{\Vert }_2=1}{\max }\Vert Ax{\Vert }_2$$
因为
$$\Vert Ax{\Vert }_2^2=(Ax,Ax)=(x,A^{H}Ax)$$
显然，矩阵$A^{H}A$是埃尔米特矩阵（复数版实对称矩阵），且非负，从而他的特征值都是非负实数
设${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$为$A^{H}A$的特征值，
而$x_1,x_2,\cdots ,x_n$为这些特征值对应的一组标准正交特征向量，任何一个范数为$1$的向量$x$都可以表示为
$$x=a_1{x}_1+\cdots a_n{x}_n$$
则
$$(x,x)={\left|a_1\right|}^2+\cdots {\left|a_n\right|}^2=1$$
又因为
$$\begin{array}{rl}& \Vert Ax{\Vert }_2^2\\ & =(x,A^{H}Ax)\\ & =(a_1{x}_1+\cdots a_n{x}_n,{\lambda }_1{a}_1{x}_1+\cdots {\lambda }_n{a}_n{x}_n)\\ & ={\lambda }_1{\left|a_1\right|}^2+\cdots {\lambda }_n{\left|a_n\right|}^2\\ & \le {\lambda }_1({\left|a_1\right|}^2+\cdots {\left|a_n\right|}^2)\\ & ={\lambda }_1\\ & ={\lambda }_{\max }(A^{H}A)\end{array}$$

取向量$x=x_1$,有
$$\begin{array}{rl}& \Vert A{x}_1{\Vert }_2^2\\ & =(x_1,A^{H}A{x}_1)\\ & =(x_1{\lambda }_1{x}_1)\\ & =\overline{{\lambda }_1}(x_1,x_1)\\ & ={\lambda }_1\\ & ={\lambda }_{\max }(A^{H}A)\end{array}$$
所以
$$\Vert A{\Vert }_2=\underset{\Vert x{\Vert }_2=1}{\max }\Vert Ax{\Vert }_2=\sqrt{{\lambda }_{\max }(A^{H}A)}$$

(3)设$\Vert x{\Vert }_{\infty }=1$,则
$$\begin{array}{rl}& \Vert Ax{\Vert }_{\infty }\\ & =\underset{i}{\max }\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|\\ & \le \underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|\left|x_j\right|\\ & \le \underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|\end{array}$$
所以
$$\underset{\Vert x{\Vert }_{\infty }=1}{\max }\Vert Ax{\Vert }_{\infty }\le \underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$

设${\sum }_{j=1}^n\left|a_{ij}\right|$在$i=i_0$是取到最大值，取向量
$$x_0=(x_1,\cdots ,x_n{)}^T$$
其中$$x_j=\{\begin{array}{l}\frac{|a_{i_{0}j}|}{a_{i_{0}j}},a_{i_{0}j}=0\\ 1,a_{i_{0}j}=0\end{array}$$
易知
$$\Vert x_0{\Vert }_{\infty }=1$$
且当$i=i_0$时
$$\left|\sum _{j=1}^n{a}_{ij}{x}_j\right|=\underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$
从而
$$\Vert A{x}_0{\Vert }_{\infty }=\underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$
所以
$$\Vert A{\Vert }_{\infty }=\underset{\Vert x{\Vert }_{\infty }=1}{\max }\Vert Ax{\Vert }_{\infty }=\underset{i}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$

F范数性质

F范数又叫做费罗贝尼乌斯（Frobenius）范数
设$A\in {\mathbb{C}}^{m\times n}$，而$U\in {\mathbb{C}}^{m\times m},V\in {\mathbb{C}}^{n\times n}$都是酉矩阵
则
$$\Vert UA{\Vert }_F=\Vert A{\Vert }_F=\Vert AV{\Vert }_F$$

证明：
设$A=({\alpha }_1,\cdots ,{\alpha }_n)$,则
$$\begin{array}{rl}& \Vert UA{\Vert }_F^2\\ & =\Vert U({\alpha }_1,\cdots ,{\alpha }_n){\Vert }_F^2\\ & =\sum _{i=1}^n\Vert U{\alpha }_i{\Vert }_2^2\\ & =\sum _{i=1}^n\Vert {\alpha }_i{\Vert }_2^2\\ & =\Vert A{\Vert }_F^2\end{array}$$
于是
$$\Vert UA{\Vert }_F=\Vert A{\Vert }_F$$
而
$$\Vert AV{\Vert }_F=\Vert (AV{)}^H{\Vert }_F=\Vert V^H{A}^H{\Vert }_F=\Vert A^H{\Vert }_F=\Vert A{\Vert }_F$$

推论

与$A$酉相似的矩阵的F范数相同
即$B=U^{H}AU$，则$\Vert B{\Vert }_F=\Vert A{\Vert }_F$,其中$U$是酉矩阵

谱范数的性质和谱半径

定理1

设$A\in {\mathbb{C}}^{m\times n}$,则
（1）$\Vert A{\Vert }_2=\underset{\Vert x{\Vert }_2=\Vert y{\Vert }_2=1}{\max }\left|y^{H}Ax\right|,x\in {\mathbb{C}}^n,y\in {\mathbb{C}}^m$
（2）$\Vert A^H{\Vert }_2=\Vert A{\Vert }_2$
（3）$\Vert A^{H}A{\Vert }_2=\Vert A{\Vert }_F^2$
证明：
（1）对满足$\Vert x{\Vert }_2=\Vert y{\Vert }_2=1$的$x,y$,有
$$\left|y^{H}Ax\right|\le \Vert y{\Vert }_2\Vert Ax{\Vert }_2\le \Vert A{\Vert }_2$$
设有$\Vert x{\Vert }_2=1$，使得$\Vert Ax{\Vert }_2=\Vert A{\Vert }_2\ne 0$
令$y=\frac{Ax}{\Vert Ax{\Vert }_2}$,就有
$$\left|y^{H}Ax\right|=\frac{\Vert Ax{\Vert }_2^2}{\Vert Ax{\Vert }_2}=\Vert Ax{\Vert }_2=\Vert A{\Vert }_2$$
从而
$$\underset{\Vert x{\Vert }_2=\Vert y{\Vert }_2=1}{\max }\left|y^{H}Ax\right|=\Vert A{\Vert }_2$$
（2）
$$\begin{array}{rl}& \Vert A{\Vert }_2\\ & =\underset{\Vert x{\Vert }_2=\Vert y{\Vert }_2=1}{\max }\left|y^{H}Ax\right|\\ & =\underset{\Vert x{\Vert }_2=\Vert y{\Vert }_2=1}{\max }\left|x^H{A}^{H}y\right|\\ & =\Vert A^H{\Vert }_2\end{array}$$
（3）
由$\Vert A^{H}A{\Vert }_2\le \Vert A^H{\Vert }_2\Vert A{\Vert }_2,\Vert A^H{\Vert }_2=\Vert A{\Vert }_2$,有
$$\Vert A^{H}A{\Vert }_2\le \Vert A{\Vert }_2^2$$
令$\Vert x{\Vert }_2=1$,使得$\Vert Ax{\Vert }_2=\Vert A{\Vert }_2$,于是
$$\begin{array}{rl}& \Vert A^{H}A{\Vert }_2\\ & \ge \underset{\Vert x{\Vert }_2=1}{\max }\left|x^H{A}^{H}Ax\right|\\ & =\underset{\Vert x{\Vert }_2=1}{\max }\Vert Ax{\Vert }_2^2\\ & =\Vert A{\Vert }_2^2\end{array}$$

定理2

设$A\in {\mathbb{C}}^{m\times n},U\in {\mathbb{C}}^{m\times n},V\in {\mathbb{C}}^{n\times n}$,且$U^{H}U=I_m,V^{H}V=I_n$,则
$$\Vert UAV{\Vert }_2=\Vert A{\Vert }_2$$

证明：
令$v=V^{H}x,u=Uy$,则
$$\Vert x{\Vert }_2=1\iff \Vert v{\Vert }_2=1$$
$$\Vert y{\Vert }_2=1\iff \Vert u{\Vert }_2=1$$
于是
$$\begin{array}{rl}& \Vert A{\Vert }_2\\ & =\underset{\Vert x{\Vert }_2=\Vert y{\Vert }_2=1}{\max }\left|y^{H}Ax\right|\\ & =\underset{\Vert v{\Vert }_2=\Vert u{\Vert }_2=1}{\max }\left|u^{H}UAVv\right|\\ & =\Vert UAV{\Vert }_2\end{array}$$

定理3

设$A\in {\mathbb{C}}^{n\times n}$,若$\Vert A\Vert <1$,则$I-A$为非奇异矩阵，且
$$\Vert (I-A{)}^{-1}\Vert \le (1-\Vert A\Vert {)}^{-1}$$
证明：
设$x$为任一非零向量，则
$$\begin{array}{rl}& \Vert (I-A)x\Vert \\ & =\Vert x-Ax\Vert \\ & \ge \Vert x\Vert -\Vert Ax\Vert \\ & \ge \Vert x\Vert -\Vert A\Vert \Vert x\Vert \\ & =(1-\Vert A\Vert )\Vert x\Vert \\ & >0\end{array}$$
所以，若$x\ne 0$,则$(I-A)x\ne 0$
从而方程
$$(I-A)x=0$$
无非零解，故$I-A$非奇异
$$\begin{array}{rl}(I-A{)}^{-1}& =((I-A)+A)(I-A{)}^{-1}\\ & =I+A(I-A{)}^{-1}\end{array}$$
从而
$$\begin{array}{rl}& \Vert (I-A{)}^{-1}\Vert \\ & =\Vert I+A(I-A{)}^{-1}\Vert \\ & \le \Vert I\Vert +\Vert A\Vert \Vert (I-A{)}^{-1}\Vert \\ & =1+\Vert A\Vert \Vert (I-A{)}^{-1}\Vert \end{array}$$
观察首尾，得到
$$\Vert (I-A{)}^{-1}\Vert \le (1-\Vert A\Vert {)}^{-1}$$

谱半径

设$A\in {\mathbb{C}}^{n\times n}$,${\lambda }_1,\cdots ,{\lambda }_n$为$A$的特征值，我们称
$$\rho (A)=\underset{i}{\max }\left|{\lambda }_i\right|$$
为$A$的谱半径

特征值上界

对于任意矩阵$A\in {\mathbb{C}}^{n\times n}$,总有
$$\rho (A)\le \Vert A\Vert$$
证明：
设$\lambda$是$A$的任一特征值，$x$为对应的特征向量，则有$Ax\lambda x$
根据相容性
$$\left|\lambda \right|\Vert x\Vert =\Vert \lambda x\Vert \le \Vert A\Vert \Vert x\Vert$$
于是
$\left|\lambda \right|\le \Vert A\Vert$
有
$$\rho (A)\le \Vert A\Vert$$

定理4

如果$A\in {\mathbb{C}}^{n\times n}$,且$A$是正规矩阵（包括实对称矩阵），则
$$\rho (A)=\Vert A{\Vert }_2$$
证明：
因为是正规矩阵，存在酉矩阵$U$，使得
$$U^{H}AU=diag({\lambda }_1,\cdots ,{\lambda }_n)=A$$
于是
$$\begin{array}{rl}& \Vert A{\Vert }_2\\ & =\Vert U^{H}AU\Vert \\ & =\Vert diag({\lambda }_1,\cdots ,{\lambda }_n)\Vert \\ & =\sqrt{{\lambda }_{\max }(A^{H}A)}\\ & =\sqrt{\underset{i}{\max }({\overline{\lambda }}_i{\lambda }_i)}\\ & =\sqrt{\underset{i}{\max }{\left|{\lambda }_i\right|}^2}\\ & =\rho (A)\end{array}$$

定理5

对于任意非奇异矩阵$A\in {\mathbb{C}}^{n\times n}$,$A$的谱范数为
$$\Vert A{\Vert }_2=\sqrt{\rho (A^{H}A)}=\sqrt{\rho (A{A}^H)}$$
证明：
$$\begin{array}{rl}& \Vert A{\Vert }_2\\ & =\sqrt{{\lambda }_{\max }(A^{H}A)}\\ & =\sqrt{\rho (A^{H}A)}\end{array}$$
因为$A{A}^H=A(A^{H}A)A^{-1}$,所以$A{A}^H\sim A^{H}A$,特征值相同，从而
$$\Vert A{\Vert }_2=\sqrt{\rho (A^{H}A)}=\sqrt{\rho (A{A}^H)}$$