《矩阵理论》笔记 3 — 矩阵范数理论及其应用

矩阵范数理论及其应用

一、向量范数

1、范数与赋范线性空间

如果线性空间$V$ 中的任一向量$x$ ，都对应一个实值函数$f(x)$，记为$||x||$ ，并满足以下三个条件（称为范数公理）：
(1) 正定性：$x\ne 0$时，$||x||>0$；$x=0$时，$||x||=0$
(2) 齐次性：$||ax||=|a|||x||$， $a\in K$，$x\in V$
(3) 三角不等式：$||x+y||\le ||x||+||y||$ ，$x,y\in V$
则称 $||x||$ 为 $V$ 上向量 $x$ 的范数，$V$ 称为赋范线性空间

• 对于赋范线性空间 $V$ 上任意的 $x$ ，定义实值函数 $ f (x) =|| x|| $，则 $f(x)$ 为 $V $ 上的连续函数，即 $x\to x_0$ 时， $f(x)\to f(x_0)$，其中 $x_0\in V$ 。
• 设 $P$ 为 $n $ 阶可逆矩阵，对于 $n$ 维向量 $x\in C^n$ ，$||x|{|}_1$为 $C^n$ 中的一个范数，令 $||x|{|}_2=||Px|{|}_1$ ，则 $||x|{|}_2$ 也为$C^n$ 中的范数。
• 设 $||x|{|}_a$ 为 $C^n$ 中的一个范数，令 $||x|{|}_b=r||x|{|}_a$ ，$r\in R^{+}$ ，则 $||x|{|}_b$ 也为 $C^n$ 中的范数。
• 内积空间是赋范线性空间，但赋范线性空间不一定构成内积空间。

2、$n$ 维向量的 $p-$ 范数 ($1\le p\le \infty$)

对于 $n$ 维向量 $x=({\xi }_1,{\xi }_2,...,{\xi }_n{)}^T\in C^n$：

• $||x|{|}_1=\sum _{i=1}^n|{\xi }_i|$ 称为 $x$ 的 $1-$范数，记为 $||x|{|}_1$，由此诱导出的距离称为街区距离。
• $||x|{|}_2=(\sum _{i=1}^n|{\xi }_i{|}^2{)}^{\frac{1}{2}}$ 称为$x$ 的 $2-$范数，记为 $||x|{|}_2$ ，由此诱导出的距离称为欧氏距离。若是复数向量，那么2范数为其内积的开方，即共轭转置与本身相乘，再开方。
• $||x|{|}_{\infty }=(\underset{1\le i\le n}{\max }|{\xi }_i|)$ 称为$x$ 的 $\infty -$范数，记为 $||x|{|}_{\infty }$ ，由此诱导出的距离称为棋盘距离（也称契比雪夫距离 Chebyshev distance）。
• $||x|{|}_p=(\sum _{i=1}^n|{\xi }_i{|}^p{)}^{\frac{1}{p}}$称为$x$ 的 $p-$范数，记为$||x|{|}_p$。
  • $||x|{|}_P=||Px|{|}_2=\sqrt{x^H{P}^{H}Px}$称之为加权范数或椭圆范数，其中$P$ 为可逆矩阵

在平面上，斜向量 $PQ$ 的 $2-$范数、$\infty -$ 范数和 $1-$范数分别是直角三角形 $\Delta PRQ$ 斜边 $PQ$ 的长度、较长的直角边长度和两直角边长度之和。

3、范数的等价性

对任意 $x\in V$，存在正数$C_1$ 、$C_2$满足不等式 $C_1||x|{|}_{\beta }\le ||x|{|}_{\alpha }\le C_2||x|{|}_{\beta }$ 的两种范数称为是等价的。

• 对于 $n$ 维向量 $x\in C^n$ ，总成立着
  $||x|{|}_2\le ||x|{|}_1\le \sqrt{n}||x|{|}_2$ ，
  $||x|{|}_{\infty }\le ||x|{|}_2\le \sqrt{n}||x|{|}_{\infty }$ ，
  $||x|{|}_{\infty }\le ||x|{|}_1\le n||x|{|}_{\infty }$ ，
  $||x|{|}_{\infty }\le ||x|{|}_p\le \sqrt[p]{n}||x|{|}_{\infty }$
• 设${\alpha }_1,{\alpha }_2,...,{\alpha }_n$是 $n$ 维赋范线性空间 $E$ 的一组基，则存在正数 $A,B$ ，使得对一切 $x=\sum _{k=1}^n{\xi }_k{\alpha }_k\in E$，成立着 $A||x||\le (\sum _{k=1}^n|{\xi }_k{|}^2{)}^{\frac{1}{2}}\le B||x||$
• 有限维赋范空间的范数是等价的，即对于 $n$ 维赋范线性空间 $E$ 中的范数 $||x|{|}_a,||x|{|}_b$ ，存在正数 $A,B$ ，使得对一切 $x\in E$ ，成立着 $A||x|{|}_a\le ||x|{|}_b\le B||x|{|}_a$
• 范数 $||x|{|}_a,||x|{|}_b$ 等价时，$\underset{x\to \infty }{\lim }||x_n|{|}_a=0$ 等价于 $\underset{x\to \infty }{\lim }||x_n|{|}_b=0$
• $n $ 维赋范线性空间必与 $n$ 维向量空间 $P^n$ 同构并且同胚。
• $n$ 维向量序列 {$x_k=({\xi }_1^k,{\xi }_2^k,...,{\xi }_n^k{)}^T\in C^n$} 收敛于向量 $x=({\xi }_1^k,{\xi }_2^k,...,{\xi }_n^k{)}^T\in C^n$ 的充分必要条件为 $\underset{x\to \infty }{\lim }{\xi }_i^k={\xi }_i,i=1,2,...,n$，即按坐标收敛。

二、矩阵范数

1、矩阵范数

满足四条范数公理：
正定性
齐次性
三角不等式
相容性:$\forall A,B\in C^{m\times n}$，有$||AB||\le ||A||||B||$

2、常见的矩阵范数

设$A\in C^{n\times n}$，称 $[tr(A^{H}A){]}^{\frac{1}{2}}=(\sum _{i,j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}$ 为 $A$ 的$Frobenius$ 范数或 $F-$范数，记为 $ ||A||_F$ 。

• $||A|{|}_F$ 满足范数公理构成 $C^{n\times n}$ 中范数，并且 $||E|{|}_F=\sqrt{n}\ge 1$
• $F-$范数的酉不变性 ：设 $A\in C^{n\times n}$ 中范数，且 $P,Q\in C^{n\times n}$ 都是酉矩阵，则$||PA|{|}_F=||AQ|{|}_F=||A|{|}_F$ ， 即给 A 左乘或右乘以酉矩阵后其 $||\cdot |{|}_F$值不变（在$A\in R^{n\times n}$ 时 $P$ 和 $Q$ 都是正交矩阵）
• 酉(或正交)相似变换下矩阵的$F-$范数保持不变。

设$A\in C^{n\times n}$，称$||A|{|}_{M_1}=\sum _{i,j=1}^n|a_{ij}|$为 $M_1-$范数 ，$||A|{|}_{M_{\infty }}=n\underset{1\le i,j\le n}{\max }|a_{ij}|$ 为 $M_{\infty }-$范数

• $||A|{|}_{M_1},||A|{|}_{M_{\infty }}$ 满足范数公理构成$C^{n\times n}$ 中范数，并且 $||E|{|}_{M_1}=n\ge 1,||E|{|}_{M_{\infty }}=n\ge 1$

3、矩阵范数的相容性

满足条件$||AB||\le ||A||||B||$的矩阵范数称为具有相容性。

• 满足相容性的矩阵范数必有 $||E||\ge 1$。
• 若 $A$ 可逆，则$||A||||A^{-1}||\ge 1$

4、矩阵范数与向量范数的相容性

若$||AX|{|}_V\le ||A|{|}_M||X|{|}_V$ ，则称矩阵范数 $||A|{|}_M$ 与向量范数$||X|{|}_V$具有相容性。

• $||x|{|}_V\to 0$时，$||Ax|{|}_V\to 0$，即$||Ax|{|}_V$是$x$的连续函数或$Ax$是$V$上线性连续算子。
• 当$x\ne 0$时 ，$\frac{||Ax|{|}_V}{||X|{|}_V}=||A(\frac{x}{||x|{|}_V})|{|}_V\le ||A|{|}_M$ ，从而 $\underset{x\ne 0}{\max }\frac{||Ax|{|}_V}{||X|{|}_V}\le ||A|{|}_M$

三、矩阵的算子范数

1、算子范数的概念

设 $||\cdot |{|}_V$ 为 $C^n$ 中的范数，$A\in C^{n\times n}$
$||A|{|}_M=\underset{x\ne 0}{\max }\frac{||Ax|{|}_V}{||X|{|}_V}=\underset{||x|{|}_V=1}{\max }||Ax|{|}_V$
$||\cdot |{|}_M$ 为与 $||\cdot |{|}_V$相容的范数矩阵，如上$||A|{|}_M$这样定义的范数称为算子范数。

• 一般算子范数的求解步骤：
  • $||Ax|{|}_V\le K||x|{|}_V$
  • $||x_0|{|}_V=1,||A{x}_0|{|}_V=K$

2、算子范数的性质

• $||Ax|{|}_V\le ||A|{|}_T||x|{|}_V$
• $||AB|{|}_T\le ||A|{|}_T||B|{|}_T$
• $||A|{|}_T=\underset{||x|{|}_V=1}{\max }||Ax|{|}_V\le ||X|{|}_V$ （假设$||A|{|}_M$与$||X|{|}_V$具有相容性）
• $||E|{|}_T=1$

3、常见的算子范数

• 列范数：$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$
• 行范数：$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$
• 谱范数：$||A|{|}_2=\sqrt{{\lambda }_{max}(A^{T}A)}$
  • $||E|{|}_1=1,||E|{|}_2=1,||E|{|}_{\infty }=1$
  • 当 $A$ 为酉矩阵时，$||A|{|}_2=1$。一般地，$||A|{|}_2={\sigma }_{max}(A),||A^{-1}|{|}_2=\frac{1}{{\sigma }_{min}(A)}$ ，其中 ${\sigma }_{max}(A)$ 和 ${\sigma }_{min}(A)$ 分别是 $A$ 的最大和最小奇异值。

四、矩阵范数的应用

1、矩阵的非奇异性条件

• 设 $A\in C^{n\times n}$ ，且对$C^{n\times n}$ 上的某矩阵算子范数 $||\cdot ||$，有 $||A||<1$， 则矩阵$E-A$非奇异，并且$||(E-A{)}^{-1}||\le \frac{1}{1-||A||},||E-(E-A{)}^{-1}||\le \frac{||A||}{1-||A||}$
• 设 $A\in C^{n\times n}$ 非奇异，$B\in C^{n\times n}$ ，且对$C^{n\times n}$ 上的某矩阵算子范数 ，有$||A^{-1}B||<1$，则
  • $A+B$ 非奇异
  • 记$F=E-(E+A^{-1}B{)}^{-1}$，则 $||F||\le \frac{||A^{-1}B||}{1-||A^{-1}B||}$
  • $\frac{||A^{-1}-(A+B{)}^{-1}||}{||A^{-1}||}\le \frac{||A^{-1}B||}{1-||A^{-1}B||}$

2、矩阵的谱半径及其性质

设 $A\in C^{n\times n}$ 的$n$个特征值为 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ ，称 ρ ( A ) = max ⁡ 1 ≤ i ≤ n { ∣ λ i ∣ } \rho(A)= \max\limits_{1 \leq i \leq n} \{ |\lambda_i| \} ρ(A)=1≤i≤nmax​{∣λi​∣} 为矩阵 $A$ 的 谱半径。

• 设 $A\in C^{n\times n}$ ， 则对 $C^{n\times n}$ 上任何一种矩阵范数 $||\cdot ||$，都有 $\rho (A)\le ||A||$
• 对于$A$ 的算子范数（或与向量范数相容的矩阵范数）$||A||$，由 $A{x}_0=\lambda x_0,x\ne 0$ 可得，$|\lambda |||x_0||=||A{x}_0||\le ||A||||x_0||$，从而$|\lambda |\le ||A||$
• 设 $A\in C^{n\times n}$，对任意的正数 $ϵ$ 存在 $A$ 的某种矩阵范数$||A_M||$ ，使得$||A|{|}_M\le \rho (A)+ϵ$。
• 矩阵的谱半径 $\rho (\cdot )$ 不构成矩阵的范数，只是所有范数的下确界。但$\rho (A)<1$ 与 $||A||<1$等价。