矩阵分析 (四)向量和矩阵的范数

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

  我们曾经用内积定义了向量空间中一个元素的长度，它是几何长度的推广，利用这个长度的概念我们可以讨论极限、逼近的问题。在分析解决这些问题时最重要的是利用了长度的基本性质、非负性、齐次性和三角表达式。

向量的范数

范数的定义

• 定义4.1：若对任意的$x\in C^n$都有一个实数$||x||$与之对应，且满足：

1. 非负性：$x\ne 0$时，$||x||>0$，当$x=0$时，$||x||=0$;
2. 齐次性：对任意的$k\in C$，$||kx||=|k|\cdot ||x||$；
3. 三角不等式：对任意的$x$，$y$ $\in C^n$都有：

$$||x+y||\le ||x||+||y||$$

  则称$||x||$为$C^n$上的向量范数，简称向量范数。

几种常见的范数

• 2范数

  设：

$$x=(x_1,x_2,\cdots ,x_n{)}^T\in C^n$$

  规定：

$$||x|{|}_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}$$

  很容易证明这是范数，叫作向量的2范数。2范数在酉变换下不变。

• 1范数

  设：

$$x\in C^n$$

  规定：

$$||x|{|}_1=\sum _{i=1}^n|x_i|$$

  则$||x|{|}_1$是范数，叫做向量的1范数。

• 向量的$\infty$范数

  设：

$$x\in C^n$$

  规定：

$$||x|{|}_{\infty }=ma{x}_i|x_i|$$

  则$||x|{|}_{\infty }$是范数，叫做向量的$\infty$范数。

• 向量的$p$范数

  设$x\in R^n$，规定，

$$||x|{|}_p=(\sum |x_i{|}^p{)}^{\frac{1}{p}}$$

  则$||x|{|}_p$也是范数，叫做向量的$p$范数。

• 其它：

  规定：

$$||f||=max|f(x)|$$

  则$||f||$是函数的范数

  在连续函数的空间中，规定：

$$||f(x)||={\int }_a^b|f(x)|dx$$

  则$||f||$也是范数。

生成范数

  在一个向量空间之中可以构造无穷多种范数，前面所述只是最常用的范数。下面给出从已知范数构造新的向量范数的方法。

• 例4 设：

$$x=(x_1,x_2,\cdots ,x_n{)}^T\in C^n$$

  规定

$$||x||=a||x|{|}_1+b||x|{|}_2(a,b>0)$$

  则$||x||$是范数。

• 例5 设$A\in C_n^{m\times n}$，$||\cdot |{|}_a$是$C^m$上的一种范数，对于任意的$x\in C^n$，规定$||x||=||Ax|{|}_a$，则$||x||$是$C^n$上的范数。

  由于矩阵$A$可以有无穷多，所以用这种方法可以构造无穷多种范数。

范数的等价

• 定义4.2：给定$C^n$上的向量序列 { x k } \{x^{k}\} {xk}，其中

$$x^k=(x_1^k，x_2^k，\cdots ,x_n^k)(k=1,2,\cdots )$$

  如果：

$$li{m}_{\infty }{x}_i^k=x_i$$

  则称 { x k } \{x^{k}\} {xk}收敛，记作：

$$li{m}_{k\to \infty }{x}^k=x$$

  不收敛的序列叫作发散序列。

• 定理4.1 $C^n$中的向量序列 { x k } \{x^{k}\} {xk}收敛于$x$的充分必要条件是，对于$C^n$上的范数$||\cdot |{|}_{\infty }$，

$$li{m}_{\infty }||x^k-x|{|}_{\infty }=0$$

  收敛是向量序列的性质，这种性质不应该受到度量方式的影响，也就是一个向量序列在一种范数的意义下收敛，那么它在另一种范数的意义下也应该收敛。一个空间中的序列在一种范数下收敛，那么它在另一种范数下也是收敛的。

• 定义4.3 设$||x|{|}_a$和$||x|{|}_b$是$C^n$上的两种向量范数，如果存在正数$k$和$l$使得对于任意的$x$都有：

$$k||x|{|}_b\le ||x|{|}_a\le l||x|{|}_b$$

  则称向量范数$||x|{|}_a$和$||x|{|}_b$等价。

• 定理4.2：$C^n$空间上所有范数等价。

  即若 { x k } \{x^{k}\} {xk}在$||\cdot |{|}_{\infty }$意义下收敛，则 { x k } \{x^{k}\} {xk}在$||x||$意义下也收敛。向量序列的收敛不受范数选择影响。

  同一个向量在不同的范数下长度一般不同，如：

$$x=(1,1,\cdots ,1)\in C^n$$

  则：

$$||x|{|}_2=\sqrt{n}，||x|{|}_1=n,||x|{|}_{\infty }=1$$

  相差很大，但是在讨论收敛时，效果也是一样的，但是要注意，这里讨论的是有限维的空间，无穷维空间可以不等价。

矩阵的范数

  由于一个$m\times n$矩阵可以看作$m\times n$维向量，因此可以按照定义向量范数的方法来定义矩阵范数，但是矩阵之间还有矩阵的乘法，在研究矩阵范数时应该给予考虑。

方阵的范数

• 定义4.4 ：若对于任意的$A\in C^{n\times n}$都有一个实数$||A||$与之对应，且满足：

1. 非负性：$A\ne O$，$||A||>0$；$A=O$，$||A||=0$；
2. 齐次性：对任意的$k\in C$:

$$||kA||=|k|||A||$$

3. 三角不等式：对任意的$A，B\in C^{n\times n}$，

$$||A+B||\le ||A||+||B||$$

4. 相容性：对任意的$A，B\in C^{n\times n}$都有$||AB||\le ||A||\cdot ||B||$

  则称$||A||$为$C^{n\times n}$上矩阵的范数，简称矩阵范数。

• 由于定义中的前三条与向量范数一致，因此矩阵范数有与向量范数有类似的性质，如：

$$||-A||=||A||，|||A||-||B|||\le ||A-B||$$

  以及$C^{n\times n}$上的两个矩阵范数等价。

常用的范数

• 矩阵$m_1$范数：

  与$||x|{|}_1$相仿，设$A=(a_{ij}{)}_{n\times n}\in C^{n\times n}$，规定：

$$||A|{|}_{m_1}=\sum _{i,j}|a_{ij}|$$

  则$||A|{|}_{m_1}$是$C^{n\times n}$上的矩阵范数，称为$m_1$范数。

• 矩阵$F$范数：

  与$||x|{|}_2$相仿，对于$A=(a_{ij}{)}_{n\times n}$，规定：

$$||A|{|}_F=\sqrt{\sum _{i,j}|a_{ij}{|}^2}=\sqrt{tr(A^{H}A)}$$

  则$||A|{|}_F$是$C^{n\times n}$上的一种矩阵范数，称为矩阵的Frobenius范数，简称$F$范数。

• 矩阵的$\infty$范数：

  设$A=(a_{ij}{)}_{n\times n}$，规定：

$$||A|{|}_{m_{\infty }}=n\cdot ma{x}_{i,j}|a_{ij}|$$

  则$||A|{|}_{m_{\infty }}$是$C^{n\times n}$上的矩阵范数。

与向量范数的相容性

• 定义4.5：设$||\cdot |{|}_m$是$C^{n\times n}$上的矩阵范数，$||\cdot |{|}_v$是$C^n$上的向量范数，对任意的$A\in C^{n\times n}$，$x\in C^n$，都有：

$$||AX|{|}_v\le ||A|{|}_m||x|{|}_v$$

  则称矩阵范数$||\cdot |{|}_m$与向量范数$||\cdot |{|}_v$是相容的。

• $C^{n\times n}$上的$m_1$范数与$C^n$上的1范数相容。
• $C^{n\times n}$上的$F$范数与$C^n$上的2范数相容。

用矩阵范数来定义向量范数

• 设$||\cdot ||$是$C^{n\times n}$上的一种矩阵范数，则在$C^n$上可以定义一种向量范数。以二维空间为例，如设$x\in C^2$，取$\alpha =({\alpha }_1，{\alpha }_2{)}^T\ne 0$ ,设$||\cdot |{|}_{m_1}$是$C^{2\times 2}$中的范数，任取：

$$A=(a_{ij}{)}_{2\times 2}\in C^{2\times 2}$$

  则：

$$||A|{|}_{m_1}=|a_{11}|+|a_{12}|+|a_{21}|+|a_{22}|$$

  现在任取：

$$x\in C^2，x=(x_1,x_2{)}^T$$

  则：

$$x{\alpha }^H=\left(\begin{array}{l}{x}_1\\ x_2\end{array}\right)\left({\bar{\alpha }}_1{\bar{\alpha }}_2\right)=\left(\begin{array}{ll}{x}_1{\bar{\alpha }}_1& x_1{\bar{\alpha }}_2\\ x_2{\bar{\alpha }}_1& x_2{\bar{\alpha }}_2\end{array}\right)$$

  是$C^{2\times 2}$的矩阵。规定：

$$\Vert x\Vert ={\Vert x{\alpha }^{\mathrm{H}}\Vert }_{m_1}=\left|x_1{\bar{\alpha }}_1\right|+\left|x_1{\bar{\alpha }}_2\right|+\left|x_2{\bar{\alpha }}_1\right|+\left|x_2{\bar{\alpha }}_2\right|$$

  则在$C^2$中定义了一种运算。

• 如取：

$$\alpha =(1,2{)}^T，x=(1,1{)}^T$$

  则：

$$\Vert x\Vert ={\Vert x{\alpha }^H\Vert }_{m_1}={\Vert \left(\begin{array}{l}1\\ 1\end{array}\right)(1,2)\Vert }_{m_1}=6$$

  取：

$$\alpha =(1,i{)}^T,x=(1,1)$$

  则：

$$||x||=||x{\alpha }^H|{|}_{m_1}=4$$

• 定理4.3：设$||\cdot ||$是$C^{n\times n}$上的一种范数，则在$C^n$上必存在与它相容的向量范数。

从属范数

  前面介绍了由矩阵范数定义向量范数的方法，接下来将要介绍由向量范数来定义矩阵范数的方法。

  我们知道，单位矩阵在矩阵的乘法中的作用类似于1在乘法中的作用。但是对于已经知道的矩阵范数，如$m_1$，$F$，$m_{\infty }$范数，$n$阶单位矩阵$E$的范数。

$$||E|{|}_{m_1}=n，||E|{|}_F=\sqrt{n}，||E|{|}_{m\infty }=n$$

  能否构造出使得$||E||=1$的范数呢？

• 定理4.4：已知$C^n$上的向量范数$||\cdot |{|}_v$，对于任意的$A\in C^{n\times n}$，规定：

$$||A||=ma{x}_{x\ne 0}\frac{||Ax|{|}_v}{||x|{|}_v}$$

  则$||A||$是$C^{n\times n}$上的矩阵范数，称为由向量范数$||\cdot |{|}_v$导出的矩阵范数，简称导出范数或者从属范数。

从属范数的计算

  从属范数的计算是求多元函数的最大值，计算并不容易，我们只就向量的1，2， $\infty$导出的矩阵范数分别是$||A|{|}_1$，$||A|{|}_2$，$||A|{|}_{\infty }$，则：

1. $||A|{|}_1=ma{x}_j{\sum }_{i=1}^n|a_{ij}|$。
2. $||A|{|}_{\infty }=ma{x}_i{\sum }_{j=1}^n|a_{ij}|$。
3. $||A|{|}_2=\sqrt{{\lambda }_1}$，${\lambda }_1$为$A^{H}A$的最大特征值。

  $||A|{|}_1$是矩阵$A$的元素取模，然后把每一列元素加起来，取这些列和的最大值。而$||A|{|}_{\infty }$是把每行的模加起来，然后取最大值。

范数的应用举例

• 定义4.6：设$A\infty C^{n\times n}$，${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是$A$的$n$个特征值，称$\rho (A)=ma{x}_i|{\lambda }_i|$为$A$的谱半径，即$A$的谱半径是$A$的特征值模的最大值。

• 定理4.6：设$A\in C^{n\times n}$，则对$C^{n\times n}$上的任何一个矩阵范数$||\cdot |{|}_m$，都有：

$$\rho (A)\le ||A|{|}_m$$

• 定理4.7：设$A\in C^{n\times n}$，任取一个正数，都可以找到一个矩阵范数$||\cdot ||$，使得：

$$||A||\le \rho (A)+\epsilon$$

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！