矩阵的范数

---

前言

矩阵分析学习笔记之矩阵范数。三类重要的矩阵范数：诱导范数（Induced norm），向量式范数（Entry-wise norm），Schatten 范数（Schatten norm）。
矩阵 $A\in K^{m\times n}$ 表示其定义在实数域或者复数域上。

一、诱导范数（Induced norm）

诱导范数也称算子范数（operator norm）。诱导 p-范数的定义如下：
$$\Vert A{\Vert }_p=\underset{x\ne 0}{\sup }\frac{\Vert Ax{\Vert }_p}{\Vert x{\Vert }_p}$$
特别的，当 $p=1$ 时，有
$$\Vert A{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m|a_{ij}|$$
也就是绝对值的列和的最大值。

当 $p=\infty$ 时，有
$$\Vert A{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n|a_{ij}|$$
也就是绝对值的行和的最大值。

谱范数

当 $p=2$ 时，称为谱范数，有
$$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\max }(A^{H}A)}={\sigma }_{\max }(A)\le \Vert A{\Vert }_F$$
其中，$A^H$表示共轭转置，如果是实数矩阵，则表示转置。${\sigma }_{\max }(A)$表示最大奇异值。当且仅当 $A$ 的秩为1或者零时，$A$ 的谱范数等于其F-范数。

二、向量式范数（Entry-wise norm）

矩阵 $A$ 的向量式 p-范数的定义如下：
$$\Vert A{\Vert }_p=\Vert \mathrm{V}\mathrm{e}\mathrm{c}(A){\Vert }_p={\left(\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^p\right)}^{\frac{1}{p}}$$
该类矩阵范数是将矩阵当做一个向量来处理，维基百科上将这类范数称为 “Entry-wise norm”，这里暂且称之为向量式范数，这不是一个规范的称呼。当$p=1,2,\infty$时，英文上经常称为$l_1，l_2，l_{\infty }$范数，也不知道这个$l$是什么意思。哈工大董增福老师的《矩阵分析教程》则称为$m_1,m_2,m_{\infty }$范数，也不知道m是啥意思。特别的，当$p=2$时，被称为F-范数（Frobenius norm）。

F-范数

∥ A ∥ F = ∥ V e c ( A ) ∥ 2 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 = t r a c e ( A H A ) = ∑ i = 1 min ⁡ { m , n } σ i 2 ( A ) \Vert A\Vert_F=\Vert {\rm Vec}(A)\Vert_2=\sqrt{\sum_{i=1}^{m}\sum_{j=1}^{n}\vert a_{ij}\vert^{2}}=\sqrt{{\rm trace}(A^HA)}=\sqrt{\sum_{i=1}^{\min\{m,n\}}\sigma_i^2(A)} ∥A∥F​=∥Vec(A)∥2​=i=1∑m​j=1∑n​∣aij​∣2 ​=trace(AHA) ​=i=1∑min{m,n}​σi2​(A) ​
其中，$A^H$表示共轭转置，如果是实数矩阵，则表示转置。${\sigma }_i(A)$表示奇异值。$\mathrm{V}\mathrm{e}\mathrm{c}(A)$表示矩阵向量化。

三、Schatten 范数（Schatten norm）

Schatten p-范数的定义如下：
∥ A ∥ p = ( ∑ i = 1 min ⁡ { m , n } σ i p ( A ) ) 1 p \Vert A\Vert_p=\left( \sum_ {i=1}^{\min\{m,n\} } \sigma_i^p(A)\right)^{\frac 1p} ∥A∥p​=⎝⎛​i=1∑min{m,n}​σip​(A)⎠⎞​p1​
${\sigma }_i(A)$表示奇异值。
所有的Schatten 范数都是酉不变的，也就是$\forall A\in K^{m\times n}$对于任意的酉矩阵 $U$ 和 $V$，都有
$$\Vert A\Vert =\Vert UAV\Vert$$
特别的，当$p=2$时，与F-范数相等，$p=\infty$ 时，与谱范数相等，$p=1$时，与核范数(nuclear norm）相等。核范数也称迹范数(trace norm)，定义如下
∥ A ∥ ∗ = t r a c e ( A H A ) = ∑ i = 1 min ⁡ { m , n } σ i ( A ) \Vert A\Vert_*={\rm trace}(\sqrt{A^HA} )=\sum_ {i=1}^{\min\{m,n\} } \sigma_i(A) ∥A∥∗​=trace(AHA ​)=i=1∑min{m,n}​σi​(A)

四、矩阵2-范数

经常看到网上有提问，F-范数和2-范数的区别，F-范数是不是2-范数。其实，2-范数这个名称是带有歧义的，并没有准确的定义。从这三类范数来说，当$p=2$ 时，都可以称之为矩阵的2-范数。但是，更多人会约定，2-范数是指$p=2$ 时的诱导范数，也就是谱范数。比如，matlab中，norm(A,2)给出的结果就是谱范数，哈工大董增福老师的《矩阵分析教程》也将2-范数称为谱范数（详见第三版，P115，定理4.13）。不少人也习惯将F-范数称为2-范数，因为其定义跟向量的2-范数是一样的。
结论：在问题讨论中，最好避免使用2-范数的说法，直接说谱范数或者F-范数，如果要用2-范数这个名称，那就明确它是何种范数。

---

总结

1.学习了三类重要的矩阵范数，诱导范数（Induced norm），向量式范数（Entry-wise norm），Schatten 范数（Schatten norm）。

2.对2-范数名称混乱的问题进行了分析。