矩阵范数介绍

理论

参考张贤达矩阵分析page 34

矩阵范数主要有三种类型：诱导范数，元素形式范数和Schatten范数

1 诱导范数 (induced norm)

诱导范数又称$m\times n$矩阵空间上的算子范数 (operator norm),定义为

(1.4.36)

∥ A ∥ = max ⁡ { ∥ A x ∥ : x ∈ K n , ∥ x ∥ = 1 } = max ⁡ { ∥ A x ∥ ∥ x ∥ : x ∈ K n , x ≠ 0 } \begin{aligned}\|A\|&=\max\{\|Ax\|:\boldsymbol{x}\in\mathbb{K}^n,\|\boldsymbol{x}\|=1\}\\&=\max\left\{\frac{\|Ax\|}{\|x\|}:x\in\mathbb{K}^n,x\neq0\right\}\end{aligned} ∥A∥​=max{∥Ax∥:x∈Kn,∥x∥=1}=max{∥x∥∥Ax∥​:x∈Kn,x=0}​

(1.4.37)

常用的诱导范数为$p$-范数

$$\Vert A{\Vert }_p\stackrel{\mathrm{def}}{=}\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}$$

(1.4.38)

$p$范数也称 Minkowski $p$范数或者$L_p$范数。特别地，$p=1,2,\infty$时，对应的诱导范数分别为
$$\begin{array}{rlrl}& \Vert A{\Vert }_1=\underset{1⩽j⩽n}{\max }\sum _{i=1}^m|a_{ij}|& & (\mathrm{1.4.39})\\ & {\Vert A\Vert }_{\mathrm{spec}}={\Vert A\Vert }_2& & (\mathrm{1.4.40})\\ & {\Vert \mathbf{A}\Vert }_{\infty }=\underset{1⩽i⩽m}{\max }\sum _{j=1}^n\left|a_{ij}\right|& & (\mathrm{1.4.41})\end{array}$$
也就是说，诱导$L_1$和$L_{\infty }$范数分别直接是该矩阵的各列元素绝对值之和的最大值 (最大
绝对列和)及最大绝对行和；而诱导$L_2$范数则是矩阵$\mathbf{A}$的最大奇异值。
诱导$L_1$范数$\Vert \mathbf{A}{\Vert }_1$和诱导$L_{\infty }$范数$\Vert \mathbf{A}{\Vert }_{\infty }$也分别称为绝对列和范数 (column-sum norm) 及绝对行和范数 (row-sum norm)。诱导$L_2$范数习惯称为谱范数 (spectrum norm)。

2 “元素形式”范数(“entrywise" norm)

将$m\times n$矩阵先按照列堆栈的形式，排列成一个$mn\times 1$向量，然后采用向量的范数定义，即得到矩阵的范数。由于这类范数是使用矩阵的元素表示的，故称为元素形式范数。元素形式范数是下面的$p$矩阵范数

$${\Vert A\Vert }_p\stackrel{\mathrm{def}}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^p\right)}^{1/p}$$

(1.4.42)

以下是三种典型的元素形式$p$范数：
(1) $L_1$范数 (和范数)$(p=1)$

(1.4.43)

$$\Vert A{\Vert }_1\stackrel{\mathrm{def}}{=}\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|$$

(2) Frobenius 范数($p=2)$

$$\Vert A{\Vert }_{\mathrm{F}}\stackrel{\mathrm{def}}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{1/2}$$

(1.4.44)

(3)最大范数 (max norm)即$p=\infty$的$p$范数，定义为

(1.4.45)

∥ A ∥ ∞ = max ⁡ i = 1 , ⋯   , m ; j = 1 , ⋯   , n { ∣ a i j ∣ } \left\|A\right\|_\infty=\max_{i=1,\cdots,m;j=1,\cdots,n}\{\left|a_{ij}\right|\} ∥A∥∞​=i=1,⋯,m;j=1,⋯,nmax​{∣aij​∣}

Frobenius 范数可以视为向量的 Euclideani 范数对按照矩阵各列依次排列的“拉长向量”$x=[a_{11},\cdots ,a_{m1},a_{12},\cdots ,a_{m2},\cdots ,a_{1n},\cdots ,a_{mn}{]}^{\mathrm{T}}$的推广。矩阵的 Frobenius 范数有时也称 Euclidean 范数、Schur 范数、Hilbert-Schmidt 范数或者$L_2$范数。
Frobenius 范数又可写作迹函数的形式

$${\Vert \mathbf{A}\Vert }_{\mathrm{F}}\stackrel{\mathrm{def}}{=}{⟨\mathbf{A},\mathbf{A}⟩}^{1/2}=\sqrt{\mathrm{tr}\left({\mathbf{A}}^{\mathrm{H}}\mathbf{A}\right)}$$

(1.4.46)

由正定的矩阵$\Omega$进行加权的 Frobenius 范数

$${\Vert \mathbf{A}\Vert }_{\Omega }=\sqrt{\mathrm{tr}({\mathbf{A}}^{\mathrm{H}}\mathbf{\Omega }\mathbf{A})}$$

(1.4.47)
称为Mahalanobis范数

3 Schatten 范数

Schatten 范数就是用矩阵的奇异值定义的范数，将在第 5 章 (奇异值分析) 中介绍。注意，向量$x$的$L_p$范数$\Vert x{\Vert }_p$相当于该向量的长度。当矩阵$A$作用于长度为$\Vert x{\Vert }_p$
的向量$x$时，得到线性变换结果为向量$Ax$,其长度为$\Vert Ax{\Vert }_p$。线性变换矩阵$A$可视为一线性放大器算子。因此，比率$\Vert \mathbf{A}x{\Vert }_p/\Vert x{\Vert }_p$提供了线性变换$Ax$相对于$x$的放大倍数， 而矩阵$\mathbf{A}$的$p$范数$\Vert \mathbf{A}{\Vert }_p$是由$\mathbf{A}$产生的最大放大倍数。类似地，放大器算子$\mathbf{A}$的最小放大倍数由

$$\min |\mathbf{A}{|}_p\stackrel{\mathrm{def}}{=}\underset{\mathbf{x}\ne 0}{\min }\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_p}{\Vert \mathbf{x}{\Vert }_p}$$

(1.4.48)

给出。比率$\Vert \mathbf{A}{\Vert }_p/\min |\mathbf{A}{|}_p^{\prime }$描述放大器算子$A$的“动态范围”。
若$A,B$是$m\times n$矩阵，则矩阵的范数具有以下性质

(1.4.49)

(1.4.50)

(1.4.51)

$$\Vert A+B\Vert +\Vert A-B\Vert =2(\Vert A{\Vert }^2+\Vert B{\Vert }^2)$$
$$\Vert A+B\Vert \cdot \Vert A-B\Vert ⩽\Vert A{\Vert }^2+\Vert B{\Vert }^2$$
以下是矩阵的内积与范数之间的关系${}^{[238]}$。
(1) Cauchy-Schwartz 不等式
$${\left|⟨A,B⟩\right|}^2⩽\Vert A{\Vert }^2\Vert B{\Vert }^2$$
等号成立，当且仅当$\mathbf{A}=c\mathbf{B}$,其中，$c$是某个复常数。
(2) Pathagoras 定理：$⟨\mathbf{A},\mathbf{B}⟩=0$ $\Rightarrow$ $\Vert \mathbf{A}+\mathbf{B}{\Vert }^2=\Vert \mathbf{A}{\Vert }^2+\Vert \mathbf{B}{\Vert }^2$
(3)极化恒等式
$$\begin{array}{rl}& \mathrm{Re}\left(⟨\mathbf{A},\mathbf{B}⟩\right)=\frac{1}{4}\left(\Vert \mathbf{A}+\mathbf{B}{\Vert }^2-\Vert \mathbf{A}-\mathbf{B}{\Vert }^2\right)\\ & \mathrm{Re}\left(⟨\mathbf{A},\mathbf{B}⟩\right)=\frac{1}{2}\left(\Vert \mathbf{A}+\mathbf{B}{\Vert }^2-\Vert \mathbf{A}{\Vert }^2-\Vert \mathbf{B}{\Vert }^2\right)\end{array}$$
式中 Re $(⟨\mathbf{A},\mathbf{B}⟩)$表示$A^{\mathrm{H}}\mathbf{B}$的实部。

(1.4.52)

(1.4.53)

论文中常用范数的书写

$|\cdot |$,denote the absolute value of a complex scalar
$\Vert \cdot \Vert$,denote the Euclidean norm of a vector,
$\Vert \cdot {\Vert }_{\ast }$, denote the the nuclear norm of a matrix,
$\Vert \cdot {\Vert }_2$ denote the spectral norm of a matrix.

1. 欧几里得范数 Euclidean norm $\Vert \cdot \Vert$ 又称Frobenius范数，Schur范数，Hilbert-Schmidt范数或者$L_2$范数：
   欧几里得范数 对于向量 $\mathbf{v}=[v_1,v_2,\dots ,v_n{]}^{\top }$，它表示向量的长度或大小，定义为所有元素平方和的平方根：

   欧几里得范数 $\Vert \cdot \Vert$ 是用于向量的 2-范数。对于向量 $\mathbf{v}=[v_1,v_2,\dots ,v_n{]}^{\top }$，定义为：
   $$\Vert \mathbf{v}\Vert =\sqrt{\sum _{i=1}^n|v_i{|}^2}$$
   它表示向量在空间中的长度或大小。

同理引申到矩阵。

$$\Vert A\Vert =\Vert A{\Vert }_{\mathrm{F}}\stackrel{\mathrm{def}}{=}{\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right)}^{1/2}$$

2. 核范数 nuclear norm $\Vert \cdot {\Vert }_{\ast }$：
   核范数是矩阵奇异值的和，也被称为“迹范数”。对于矩阵 $\mathbf{A}$，核范数通过将矩阵的奇异值相加得到，常用于低秩矩阵逼近问题：

   核范数 $\Vert \cdot {\Vert }_{\ast }$ 是矩阵奇异值的和，常用于低秩矩阵问题。对于矩阵 $\mathbf{A}$，定义为：
   $$\Vert \mathbf{A}{\Vert }_{\ast }=\sum _i{\sigma }_i$$
   其中 ${\sigma }_i$ 是矩阵 $\mathbf{A}$ 的奇异值。

贴上一些关于核范数的拓展介绍。

3. 谱范数 spectral norm $\Vert \cdot {\Vert }_2$：
   谱范数，是诱导范数的一种，也称为矩阵的 诱导$L_2$-范数，其定义在最上面

是矩阵的最大奇异值。它描述了矩阵作为线性变换时对向量的最大伸缩程度：

在实际计算时， 谱范数 $\Vert \cdot {\Vert }_2$ 是矩阵的最大奇异值。对于矩阵 $\mathbf{A}$，定义为：
$$\Vert \mathbf{A}{\Vert }_2=\underset{i}{\max }{\sigma }_i$$
其中 ${\sigma }_i$ 是矩阵 $\mathbf{A}$ 的奇异值。

证明如下：

在实际计算中，诱导的 L2 范数，也称为矩阵的谱范数，等于矩阵的最大奇异值。这是因为矩阵的 L2 范数定义为：
$$\Vert A{\Vert }_2=\underset{\Vert x{\Vert }_2=1}{\sup }\Vert Ax{\Vert }_2$$
也就是对单位向量 (x) 进行矩阵 (A) 作用后所得向量的最大长度（或范数）。这个定义可以理解为，L2 范数描述了矩阵 (A) 在欧几里得空间中作用时可能产生的最大拉伸效果。

在奇异值分解（SVD）中，任意矩阵 (A) 可以表示为：
$$A=U\Sigma V^T$$
其中，(U) 和 (V) 是正交矩阵，而 (\Sigma) 是一个对角矩阵，包含了 (A) 的所有奇异值，即 (A) 的作用在不同方向上的尺度因子。

由于 (U) 和 (V) 是正交矩阵，它们的作用不会改变向量的长度（它们仅进行旋转和反射），矩阵 (A) 的拉伸效果完全由 (\Sigma) 矩阵中的对角元素（奇异值）来决定。因此，(A) 对向量的最大拉伸效果（即 L2 范数）就等于最大奇异值。

总结来说，矩阵的 L2 范数与其最大奇异值相等，因此在实际计算诱导 L2 范数时，只需找到矩阵的奇异值并取其中的最大值即可，而无需进一步计算复杂的向量优化问题。

应用与引申，

矩阵的秩等于1为什么等价于它的核范数和谱范数的差小于等于0

矩阵的秩等于1意味着它可以表示为两个向量的外积，即一个秩为1的矩阵可以写成 $\mathbf{A}=\mathbf{u}{\mathbf{v}}^T$，其中 $\mathbf{u}$ 和 $\mathbf{v}$ 是向量。为了理解为什么矩阵的秩等于1等价于它的核范数（nuclear norm）和谱范数（spectral norm）的差小于等于0，我们需要先了解这两个范数的定义以及矩阵秩对它们的影响。

1. 核范数（Nuclear Norm）：核范数是矩阵的奇异值的和。对于一个矩阵 $\mathbf{A}$，假设它的奇异值分解为 $\mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^T$，其中 $\Sigma$ 是一个对角矩阵，对角元素是 $\mathbf{A}$ 的奇异值，核范数定义为：
   $$\Vert \mathbf{A}{\Vert }_{\ast }=\sum _i{\sigma }_i$$
   其中 ${\sigma }_i$ 是矩阵 $\mathbf{A}$ 的第 $i$ 个奇异值。

2. 谱范数（Spectral Norm）：谱范数是矩阵的最大奇异值，定义为：
   $$\Vert \mathbf{A}{\Vert }_2=\underset{i}{\max }{\sigma }_i$$

3. 秩为1的矩阵：对于一个秩为1的矩阵 $\mathbf{A}$，只有一个非零奇异值 ${\sigma }_1$，其余奇异值都是0。因此，对于这种矩阵：
   $$\Vert \mathbf{A}{\Vert }_{\ast }={\sigma }_1\text{且}\Vert \mathbf{A}{\Vert }_2={\sigma }_1$$
   所以，核范数和谱范数相等，二者之差为0。

4. 核范数和谱范数的差小于等于0：如果一个矩阵的核范数和谱范数的差小于等于0，则表示矩阵的所有奇异值中，只有最大的那个奇异值是非零的。因为如果有多个非零奇异值，则核范数（所有奇异值之和）会大于谱范数（最大的奇异值），这时核范数和谱范数的差会大于0。因此，核范数和谱范数的差小于等于0的唯一情况是矩阵只有一个非零奇异值，也就是矩阵的秩为1。

因此，矩阵的秩等于1时，它的核范数和谱范数相等，差为0，这就是为什么矩阵的秩等于1等价于核范数和谱范数的差小于等于0。