Operator norm - 算子范数

在数学上，算子范数是一种度量某些线性算子"大小"的方法。形式上，它是在两个给定范数向量空间(normed vector spaces)之间的有界线性算子空间(bounded linear operators)上定义的范数。

介绍和定义

给定两个范数向量空间V和W(在相同的基(base field)上，实数R或者复数C),一个线性映射A $\Rightarrow$ B是连续的当且仅当存在一个实数c使得 $$\Vert Av\Vert \le c\Vert v\Vert \text{ for all }v\in V$$ 左边的范数是W中的范数，右边的范数是V中的范数。直观上看来，连续算子(continuous operator)A永远不会将任意向量的长度增加超过c倍。因此，有界集在连续算子下的像(image)也是有界的。因为这个性质，连续线性算子也被称为有界算子( bounded operators)。为了"测量A的大小",似乎很自然的取数字c的下确界(infimum)，使得上面的不等式对于所有的V中的v都成立。换句话说，我们通过“最大”情况下它在多大程度上"拉伸"向量的量来来度量A的“大小”。所以我们定义A的范式为 ∥ A ∥ o p = i n f { c ≥ 0 : ∥ A v ∥ ≤ c ∥ V ∥  for all  v ∈ V } \|A\|_{op} =inf\{ c \geq 0 : \|Av\| \leq c\|V\| \text{ for all } v \in V \} ∥A∥op​=inf{c≥0:∥Av∥≤c∥V∥ for all v∈V}由于所有此类c的集合都是封闭，非空并且从下面限定了边界，因此获得了下确界。
重要的是要记住，这个算子范数取决于范数向量空间V和W的范数的选择。

举例

每一个m x n的实矩阵对应一个从$R^n$到$R^m$的线性映射。适用于实向量空间的(向量)范数过剩的每对推导出一个适用于所有m×n矩阵的算子范数( Each pair of the plethora of (vector) norms applicable to real vector spaces induces an operator norm for all m-by-n matrices of real numbers); 这些推导出的范式构成了矩阵范式(matrix norms)的子集。
如果我们特别的选择$R^n$和$R^m$的欧几里得范数( Euclidean norm),那么矩阵A的矩阵范数是矩阵$A^{\ast }A$最大特征值的平方根(其中$A^{\ast }$表示A的共轭转置(conjugate transpose))。这相当于给A赋最大的奇异值(singular value)。
转到一个典型的无限维的例子，考虑序列空间$l^2$定义为： l 2 = { ( a n ) n ≥ 1 : a n ∈ C , ∑ n ∣ a n ∣ 2 < ∞ } l^2 = \{(a_n)_{n \geq 1}:a_n \in \mathcal C ,\sum\limits_{n}|a_n|^2 < \infty\} l2={(an​)n≥1​:an​∈C,n∑​∣an​∣2<∞}这可以看作欧几里得空间$C^n$的一个无穷维的模拟。现在取一个有界序列$s=(s_n)$。这个序列s是空间$l^{\infty }$的一个元素，它的范式给定为$$\Vert s{\Vert }_{\infty }=\underset{n}{\sup }|s_n|$$通过简单的乘法定义$T_s$算子:$$(a_n)\stackrel{T_s}{\to }(s_n\cdot a_n)$$
算子$T_s$被算子范数约束 $$\Vert T_s{\Vert }_{op}=\Vert s{\Vert }_{\infty }$$可以将讨论直接扩展到以下情况:$l^2$被一个一般$L^p$空间代替(P>1)，并且$l^{\infty }$被$L^{\infty }$代替。

等价的定义

当 V ≠ { 0 } V \neq \{0\} V​={0}时 ，我们可以证明下列的定义是等价的: ∥ A ∥ o p = i n f { c ≥ 0 : ∥ A v ∥ ≤ c ∥ v ∥  for all  v ∈ V } \|A\|_{op} = inf\{c \geq 0:\|Av\| \leq c\|v\| \text{ for all } v \in V\} ∥A∥op​=inf{c≥0:∥Av∥≤c∥v∥ for all v∈V} = s u p { ∥ A v ∥ : v ∈ V  with  ∥ v ∥ ≤ 1 } =sup\{\|Av\| :v \in V \text{ with } \|v\| \leq 1\} =sup{∥Av∥:v∈V with ∥v∥≤1} = s u p { ∥ A v ∥ : v ∈ V  with  ∥ v ∥ = 1 } =sup\{\|Av\| :v \in V \text{ with } \|v\| = 1\} =sup{∥Av∥:v∈V with ∥v∥=1} = s u p { ∥ A v ∥ ∥ v ∥ : v ∈ V  with  v ≠ 0 } =sup\{\frac{\|Av\|}{\|v\|}:v \in V \text{ with } v \neq 0\} =sup{∥v∥∥Av∥​:v∈V with v​=0} 在 V = { 0 } V = \{0\} V={0}的时候，第三行和第四行是空的。

属性

算子范数确实是V和W之间所有有界算子空间上的一个范数。这意味着：$$\Vert A{\Vert }_{op}\ge 0\text{ and }\Vert A{\Vert }_{op}=0\text{ if and only if }A=0\text{,}$$ $$\Vert aA{\Vert }_{op}=|a|\Vert A{\Vert }_{op}\text{ for every scalar a ,}$$ $$\Vert A+B{\Vert }_{op}\le \Vert A{\Vert }_{op}+\Vert B{\Vert }_{op}\text{.}$$下面的不等式是定义的直接结果 $$\Vert Av\Vert \le \Vert A{\Vert }_{op}\Vert v\Vert \text{ for every }v\in V$$ 算子范数也和算子的复合和乘法相容(The operator norm is also compatible with the composition, or multiplication, of operators)：如果V,W和X是在三个同样基底下三个范数空间，并且$A:V\to W\text{ 和 }B:W\to X$ 是两个有界算子，那么它就是一个次乘范数(sub-multiplicative norm),即:$$\Vert BA{\Vert }_{op}\le \Vert B{\Vert }_{op}\Vert A{\Vert }_{op}$$
对于V上的有界算子，这意味着算子乘法是联合连续( jointly continuous)的。
从定义上看来，一个算子序列收敛到算子范数意味着它们在有界集合上均匀收敛(converge uniformly)。

常用的算子范数

有些常用的算子范数很容易计算，另外的一些是NP-hard的。除了NP-hard的范数，所有的范数都可以在$N^2$的操作中进行计算(对于N x N 矩阵)，这其中不包含$l_2-l_2$范数(为了获得准确的答案它需要$N^3$次运算，或者更少如果你使用幂方法或者Lanczos迭代来进行近似.)

伴随矩阵和转置矩阵可以按照如下方式进行计算。我们有对于任意的p,q,然后$\Vert A{\Vert }_{p\to q}=\Vert A^{\ast }{\Vert }_{q^{{}^{\prime }}\to p^{{}^{\prime }}}$,其中$p^{{}^{\prime }},q^{{}^{\prime }}$是p,q的霍尔德共轭(Hölder conjugate)，即，$1/p+1/p^{{}^{\prime }}=1\text{和}1/q+1/q^{{}^{\prime }}=1$ .

在希尔伯特空间(Hilbert space)上的算子

假定H是一个复数或者实数希尔伯特空间。如果A:$H\to H$是一个有界线性算子，那么我们有$$\Vert A{\Vert }_{op}=\Vert A^{\ast }{\Vert }_{op}$$ 和 $$\Vert A^{\ast }A{\Vert }_{op}=\Vert A{\Vert }_{op}^2$$ 其中$A^{\ast }$表示A的伴随矩阵（在具有标准内积的欧几里得希尔伯特空间，它对应于A的共轭转置）。
一般的，A的谱半径( spectral radius )被A的算子范数限定(bounded)：$$\rho (A)\le \Vert A{\Vert }_{op}$$ 来明白等式为什么不会总是被满足，考虑在无限维情况下矩阵的约旦标准型(Jordan normal form)，因为在超对角线上有非零实体，等式可能会被打破。准幂等算子(quasinilpotent operators)是上面的情况的一类，一个非零的准幂等算子A有谱{o}。所以当$\Vert A{\Vert }_{op}>0$的时候有$\rho (A)=o$。
然而，当矩阵N是正规矩阵(normal)时，它的约旦标准型是对角的(up to unitary equivalence)。这是谱定理(spectral theorem)。在这种情况下很容易看出来$$\rho (N)=\Vert N{\Vert }_{op}$$ 这个公式在有些时候在给定边界算子A的情况下来计算算子范式:定义厄米算子(Hermitian operator ) $B=A^{\ast }A$ ,确定它的谱半径，然后取平方根来获得A的算子范数。
H上的有界算子的空间，其拓扑(topology)由算子范数导出，是不可分离的。比如说，考虑希尔伯特空间$L^2[0,1]$。对于$0<t\le 1$，让${\Omega }_t$是$[0,t]$上的特征函数( characteristic function )，$P_t$是${\Omega }_t$给出的乘法算子(Multiplication operator)，即$$P_t(f)=f\cdot {\Omega }_t$$ 然后每个$P_t$是带有算子范数1有界算子，并且$$\Vert P_t-P_s{\Vert }_{op}=1\text{, for all }t\ne s$$ 但是 { P t } \{P_t\} {Pt​}是不可数集合，这意味着在$L^2[0,1]$上的有界算子空间在算子范数中是不可分离的。我们可以将这个事实与序列空间$l^{\infty }$是不可分离的事实进行比较。
在希尔伯特空间所有的有界算子的集合，与算子范数和伴随操作(adjoint operation)，产生了$C^{\ast }-algebra$。
[1]: https://en.wikipedia.org/wiki/Operator_norm