向量与矩阵范数

范数(norm)，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。

举一个简单的例子，在二维的欧氏几何空间 R就可定义欧氏范数。在这个矢量空间中的元素常常在笛卡儿坐标系统中被画成一个从原点出发的带有箭头的有向线段。每一个矢量的欧氏范数就是有向线段的长度。

其中定义范数的矢量空间就是赋范矢量空间。同样，其中定义半范数的矢量空间就是赋半范矢量空间。

向量范数

概念

设函数$f:R^n\rightarrow R$，若$f$满足

1. 正定性：$f(x)\geq 0，\forall x\in R^n$，等号当且仅当$x=0$时候成了。
   • 正齐次性：$f(\alpha x) = |\alpha|\times f(x)，\forall x\in R^n，\forall \alpha \in R$。
   • 次可加性（三角不等式）：$f(x+y)\leq f(x)+f(y)$。

   • 例如：

     $$\|x\|_p=(\sum_{i=1}^n|x_i|^p)^{1\over p},p\in [1,\infty)是R^n上的向量范数。$$

   常见的范数

   这里以$C^n$空间为例，$R^n$空间类似。
   最常用的范数就是p-范数。若$x=[x_1,x_2,\dots,x_n]^T$，那么

   $$\|x\|_p=(|x_1|^p+|x_2|^p+\dots+|x_n|^p)^{1\over p}$$

   可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

   当p取1，2，∞的时候分别是以下几种最简单的情形：
   1-范数：$║x║_1=│x_1│+│x_2│+…+│x_n│$
   2-范数：$║x║_2=(│x_1│^2+│x_2│^2+…+│x_n│^2)^{1/2}$
   ∞-范数(最大范数)：$║x║_∞=\max(│x_1│，│x_2│，…，│x_n│）$

   其中2-范数就是通常意义下的距离。

   范数的性质

   (1)连续性
   设$f$是$R^n$上的任意一个范数，则$f$关于$x$的每个分量是连续的。

   (2)等价性
   设$\|\cdot\|_s$和$\|\cdot\|_t$是$R^n$上的任意两个范数，则存在常数$c_1$和$c_2$，使得对任意的$x\in R^n$有
   

   $$c_1\|x\|_s\leq \|x\|_t\leq c_2\|x\|_s$$

   (3)不等式

   对于这些常用的范数有以下不等式：$║x║∞ ≤ ║x║_2 ≤ ║x║_1 ≤ n^{1\over 2}║x║_2 ≤ n║x║_∞$
   另外，若p和q是赫德尔（Hölder）共轭指标，即1/p+1/q=1，那么有赫德尔不等式：
   

   $$|<x,y>| = ||x^H*y| ≤ ║x║_p║y║_q$$

   当p=q=2时就是柯西-许瓦兹（Cauchy-Schwarz）不等式。

   (4)向量序列的收敛性
   

   $$lim_{k\rightarrow \infty}x^{(k)}=x^* \Leftarrow\Rightarrow lim_{k\rightarrow \infty}\|x^{(k)}-x^*\|=0$$

   矩阵范数

   概念

   一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：$║XY║≤║X║║Y║$。

   所以矩阵范数通常也称为相容范数。

   如果$║·║_α$是相容范数，且任何满足$║·║_β≤║·║_α$的范数$║·║_β$都不是相容范数，那么$║·║_α$称为极小范数。对于$n$阶实方阵（或复方阵）全体上的任何一个范数$║·║$，总存在唯一的实数$k>0$，使得$k\times ║·║$是极小范数。
   注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为$m\times n$矩阵全体和$mn$维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

   常见的矩阵范数

   满足以上设定的矩阵范数可以有多种。由于它们都是定义在$\mathcal{M}_{m, n}(\mathbb{K})$这个有限维向量空间上的范数，所以实质上是等价的。常见的矩阵范数通常是在矩阵的应用中自然定义或诱导的范数。

   向量范数诱导的矩阵范数

   考虑从向量空间$V = \mathbb{K}^m$映射到$W = \mathbb{K}^n$的所有线性映射的构成的空间：$\mathcal{L}_{m, n}(\mathbb{K})$。设$V$和$W$中分别装备了两个向量范数$\| \cdot \|_V$和$\| \cdot \|_W$，则可以定义$\mathcal{L}_{m, n}(\mathbb{K})$上的算子范数$\| \cdot \|_\mathcal{L}：$

   $\forall A \in \mathcal{L}_{m, n}(\mathbb{K})$

   $$\|A\|_\mathcal{L} = \max\{\|A(x)\|_W \; ; \; \; x\in V , \; \; \|x\|_V \leqslant 1\}$$

   而给定了基底后，每个从V映射到W的线性映射都可以用一个m \times n的矩阵来表示，所以同样地可以定义$\mathcal{M}_{m, n}(\mathbb{K})$上的非负映射$\| \cdot \|_\mathcal{M}：$

   $\forall A \in \mathcal{M}_{m, n}(\mathbb{K})$

   $$\|A\|_\mathcal{L} = \max\{\|A(x)\|_W \; ; \; \; x\in V , \; \; \|x\|_V \leqslant 1\}$$

   可以验证，$\| \cdot \|_\mathcal{M}$满足矩阵范数的定义，因此是一个矩阵范数。这个矩阵范数被称为是由向量空间范数诱导的矩阵范数，可以看作是算子范数在由有限维向量空间之间线性映射组成的空间上的特例。如果$m = n$，所对应的矩阵空间就是n阶方块矩阵空间$\mathcal{M}_{n}(\mathbb{K})$。这时可以验证，诱导范数$\| \cdot \|_\mathcal{M}$满足一致性条件。

   p-范数诱导的矩阵范数

   当$V$和$W$中装备的向量范数都是p-范数的时候，诱导的矩阵范数也称为矩阵的诱导p-范数。具体来说就是：
   

   $$\left\| A \right\|_p = \max \limits_{x \ne 0} \frac{\left\| A x \right\|_p}{\left\| x \right\|_p} = \max \limits_{x \ne 0} \frac{\left(\sum_{i=1}^n | \sum_{j=1}^m A_{ij} x_j |^p\right)^{1/p}}{\left(\sum_{i=1}^m | x_i |^p\right)^{1/p}}$$

   在p=1和$p=\infty$的情况下，其范数可以以下方式计算：

   $$\begin{align} & \left \| A \right \| _1 = \max \limits _{1 \leq j \leq n} \sum _{i=1} ^m | a_{ij} | \\ & \left \| A \right \| _\infty = \max \limits _{1 \leq i \leq m} \sum _{j=1} ^n | a_{ij} | . \end{align}$$
   这些与矩阵的Schatten p-范数不同，也可以用 $\left \| A \right \| _p$来表示。
   当p = 2（欧几里德范数）且m = n（方阵）时，诱导的矩阵范数就是谱范数。矩阵A的谱范数是A最大的奇异值或半正定矩阵A*A的最大特征值的平方根：
   $$\left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^* A)}$$
   其中$A*$代表A的共轭转置。

   矩阵元范数

   这些向量范数将矩阵视为$m \times n$向量，并使用类似的向量范数。
   举例说明，使用向量的p-范数，我们得到：
   

   $$\Vert A \Vert_{p} = \Big( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \Big)^{1/p}$$
   注：不要把矩阵元p-范数与诱导p-范数混淆。

   弗罗贝尼乌斯范数

   对$p = 2$，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（Hilbert–Schmidt norm），不过后面这个术语通常只用于希尔伯特空间。这个范数可用不同的方式定义：
   

   $$\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}=\sqrt{\operatorname{trace}(A^{{}^*} A)}=\sqrt{\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}^2}$$
   这里$A*$表示$A$的共轭转置，$σi$是$A$的奇异值，并使用了迹函数。弗罗贝尼乌斯范数与$K^n$上欧几里得范数非常类似，来自所有矩阵的空间上一个内积。
   弗罗贝尼乌斯范范数是服从乘法的且在数值线性代数中非常有用。这个范数通常比诱导范数容易计算。

   矩阵范数性质

   矩阵范数的性质

   (1)连续性：设$f$是$R^{n\times n}$上的任一矩阵范数，则$f$关于$A$的每个分量是连续的。

   (2)等价性：设$\|\cdot\|_s$和$\|\cdot\|_t$是$R^{n\times n}$上的任意两个矩阵范数，则存在常数$c_1$和$c_2$，使得对任意的$A\in R^{n\times n}$有
   

   $$c_1\|A\|_s\leq \|A\|_t\leq c_2\|A\|_s$$
   (3)
   任何诱导的矩阵范数都满足此不等式
   $$\left \| A \right \| \ge \rho(A)$$
   其中$ρ(A)$是$A$的谱半径。事实上，可以证明$ρ(A)$是$A$的所有诱导范数的下界。
   此外，我们有
   $\lim_{r\rightarrow\infty}\|A^r\|^{1/r}=\rho(A)$。
   若A是对称矩阵，则$ρ(A)=\|A\|_2$

   算子范数的性质

   定理：
   设$\|\cdot\|$是$R^n$上的任一向量范数，其对应的算子范数也记为$\|\cdot\|$，则有

   $$\|Ax\|\leq \|A\|\times\|x\|$$

   定理：
   设$\|\cdot\|$是任一算子范数，则$ρ(A)\leq \|A\|$

   定理：
   对任意$\varepsilon > 0$，总存在一个算子范数$\|\cdot\|_\varepsilon$，使得
   

   $$\|\cdot\|_\varepsilon \leq ρ(A)+\varepsilon$$

   这个图的计算可能有一些问题