【矩阵论】7. 矩阵理论——算子范数

矩阵论的所有文章，主要内容参考北航赵迪老师的课件

[注]由于矩阵论对计算机比较重要，所以选修了这门课，但不是专业搞数学的，所以存在很多口语化描述，而且对很多东西理解不是很正确与透彻，欢迎大家指正。我可能间歇性忙，但有空一定会回复修改的。

矩阵论
1. 准备知识——复数域上矩阵,Hermite变换
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵，优阵(单位正交阵)，Hermite阵
8. 常用矩阵总结——镜面阵，正定阵
8. 常用矩阵总结——单阵，正规阵，幂0阵，幂等阵，循环阵

---

7.2 算子范数

7.2.1 定义

$C^n$ 上任一向量范数 $\Vert X{\Vert }_V$ 都产生一个矩阵范数 ∥ A ∥ = max ⁡ x ≠ 0 { ∥ A X ∥ V ∥ X ∥ V } \Vert A\Vert=\max_{x\neq 0}\limits \{\frac{\Vert AX\Vert_V}{\Vert X\Vert_V}\} ∥A∥=x=0max​{∥X∥V​∥AX∥V​​} ,$X\in C^n$ ，且有相容关系 $\Vert AX{\Vert }_V\le \Vert A\Vert \cdot \Vert X{\Vert }_V$ ，这种范数 $\Vert A\Vert$为算子范数

向量范数生成的矩阵范数

• 若存在常数 M，使 $\forall X\in C^n$ ，有 $\Vert AX{\Vert }_V\le M\Vert X{\Vert }_V$ ，则 $\Vert A\Vert \le M$ ，即 $\Vert X{\Vert }_V$ 的算子范数是使上述不等式成立的最小范数

a. 证明算子范数是范数

矩阵范数与向量范数相容性：

∥ A ∥ = max ⁡ X ≠ 0 { ∥ A X ∥ V ∥ X ∥ V } ⇒ ∥ A X ∥ V ∥ X ∥ V ≤ max ⁡ X ≠ 0 { ∥ A X ∥ V ∥ X ∥ V } = ∥ A ∥ ⇒ ∥ A X ∥ V ≤ ∥ A ∥ ⋅ ∥ X ∥ V \begin{aligned} &\Vert A\Vert=\max_{X\neq 0}\{\frac{\Vert AX\Vert_V}{\Vert X\Vert_V}\}\Rightarrow \frac{\Vert AX\Vert_V}{\Vert X\Vert_V}\le \max_{X\neq 0}\{\frac{\Vert AX\Vert_V}{\Vert X\Vert_V}\}=\Vert A\Vert\\ &\Rightarrow \Vert AX\Vert_V\le \Vert A\Vert\cdot \Vert X\Vert_V \end{aligned} ​∥A∥=X=0max​{∥X∥V​∥AX∥V​​}⇒∥X∥V​∥AX∥V​​≤X=0max​{∥X∥V​∥AX∥V​​}=∥A∥⇒∥AX∥V​≤∥A∥⋅∥X∥V​​

• 由于 $\Vert AX{\Vert }_V$ 是X各分量的连续函数，故在有界闭集 $\Vert X{\Vert }_V$ 上可取最大值，因此上述定义是有意义的，即存在 $X_0$ 使 $\underset{\Vert X{\Vert }_V=1}{\max }\Vert AX{\Vert }_V=\Vert A{X}_0{\Vert }_V$ ，在 $X_0$ 处取最大值

7.2.2 常见算子范数

设 $A=\left(a_{ij}\right)\in C^{n.n}，X\in C^n$ ，则向量范数 $\Vert X{\Vert }_1,\Vert X{\Vert }_2,\Vert X{\Vert }_{\infty }$ 产生的算子范数为：

• $\Vert X{\Vert }_1$ 产生 $\Vert A{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$ （列范数），且 $\Vert AX{\Vert }_1\le \Vert A{\Vert }_1\cdot \Vert X{\Vert }_1$
• $\Vert X{\Vert }_2$ 产生 $\Vert A{\Vert }_2=\sqrt{{\lambda }_1},{\lambda }_1为A^{H}A$ 的最大特征值（谱范数），且 $\Vert AX{\Vert }_2\le \Vert A{\Vert }_2\cdot \Vert X{\Vert }_2$
• $\Vert X{\Vert }_{\infty }$ 产生 $\Vert A{\Vert }_{\infty }=\underset{i=1}{\max }\sum _{j=1}^n|a_{ij}|$ （行范数），且 $\Vert AX{\Vert }_{\infty }\le \Vert A{\Vert }_{\infty }\cdot \Vert X{\Vert }_{\infty }$

a. 必要条件

任一矩阵范数 $\Vert I\Vert \ge 1$

• 任一算子范数必有 $\Vert I\Vert =1$

  由公式 ∥ A ∥ = max ⁡ x ≠ 0 { ∥ A X ∥ V ∥ X ∥ V } \Vert A\Vert=\max_{x\neq 0}\limits \{\frac{\Vert AX\Vert_V}{\Vert X\Vert_V}\} ∥A∥=x=0max​{∥X∥V​∥AX∥V​​} ，可知 ∥ I ∥ = max ⁡ X ≠ 0 { ∥ I X ∣ V ∥ X ∥ V } = 1 \Vert I\Vert=\max_{X\neq 0}\limits \{\frac{\Vert IX\vert_V}{\Vert X\Vert_V}\}=1 ∥I∥=X=0max​{∥X∥V​∥IX∣V​​}=1

• 若某个 $\Vert I{\Vert }_{\ast }>1$ ，则 $\Vert \bullet {\Vert }_{\ast }$ 不是算子范数

eg

可见 $\Vert A{\Vert }_F$ 与 $\Vert x{\Vert }_2$ 是相容的，而 $\Vert A{\Vert }_2$ 作为 $\Vert x{\Vert }_2$ 的算子范数是相容的，但与 $\Vert A{\Vert }_F$ 不同

• $\Vert A{\Vert }_2\le \Vert A{\Vert }_F$ ，即 $\Vert X{\Vert }_V$ 的算子范数是使 $\Vert A\Vert \le \frac{\Vert AX{\Vert }_V}{\Vert X{\Vert }_V}$ 成立的最小范数

7.2.3 算子范数判断矩阵级数收敛

a. 矩阵级数收敛定义

$$\begin{array}{rl}& \sum _{k=0}^{\infty }{A}_k=A_0+A_1+\cdots +A_k+\cdots 收敛于A⟺\underset{k\to \infty }{\lim }(A_0+A_1+\cdots +A_k)=A\\ & 其中A_k\in C^{n,n},记为\sum _{k=0}^{\infty }{A}_k=A_0+A_1+\cdots +A_k=A\end{array}$$

绝对收敛本身必收敛 ： 若 $\sum _{k=0}^{\infty }\Vert A_k\Vert =\Vert A_0\Vert +\Vert A_1\Vert +\cdots +\Vert A_k\Vert +\cdots$ 收敛，则 $\sum _{k=0}^{\infty }{A}_k$ 收敛

• 若某个范数 $\Vert A\Vert <1$ ，则 $\sum _{k=0}^{\infty }{A}^k$ 绝对收敛

  证明：
  $$\begin{array}{rl}& \Vert A\Vert <1\Rightarrow \Vert A^k\Vert \le \Vert A{\Vert }^k且\sum _{k=0}^{\infty }\Vert A{\Vert }^k=\frac{\Vert I\Vert }{I-\Vert A\Vert }(绝对收敛)\end{array}$$

• $\rho (A)<1\Rightarrow \sum _{k=0}^{\infty }{A}^k$ 绝对收敛
  $$\rho (A)<1\Rightarrow 某范数\Vert A\Vert <1\Rightarrow \sum _{k=0}^{\infty }{A}^k绝对收敛$$

若 $\rho (A)<1$ ，则 $\sum _{k=0}^{\infty }{A}^k=(I-A{)}^{-1}$

证明：
$$\begin{array}{rl}& (I-A)(I+A+\cdots +A^k+\cdots )=I(I+A+\cdots +A^k+\cdots )-A(I+A+\cdots +A^k+\cdots )\\ & =(I+A+\cdots +A^k+\cdots )-(A+\cdots +A^k+\cdots )=I\\ & \therefore (I-A{)}^{-1}=\sum _{k=0}^{\infty }{A}^k=I+A+\cdots +A^k+\cdots \end{array}$$

• 若 $\Vert A\Vert <1$ ，则 $\sum _{k=0}^{\infty }{A}^k=(I-A{)}^{-1}$

b. 幂级数收敛

设幂级数 $\sum _{k=0}^{\infty }{c}_k{x}^k$ 的收敛半径为 $R$ ，则

• $\rho (A)<R\Rightarrow \sum _{k=0}^{\infty }{c}_k{A}^k$ 绝对收敛
• 某一范数 $\Vert A\Vert <R\Rightarrow \sum _{k=0}^{\infty }{c}_k{A}^k$ 绝对收敛
• 若 $\rho (A)>R$ ，则 $\sum _{k=0}^{\infty }{c}_k{A}^k$ 发散
• $\rho (A)=R$ ，$\sum _{k=0}^{\infty }{c}_k{A}^k$ 都有可能

SP：

• $e^x=\sum _{k=0}^{\infty }\frac{1}{k!}{x}^k$ ，

  $sinx=\sum _{k=0}^{\infty }(-1{)}^k\frac{x^{2k+1}}{(2k+1)!}$

  $cosx=\sum _{k=0}^{\infty }(-1{)}^k\frac{x^{2k}}{(2k)!}$ 的收敛半径都是 $R=+\infty$ ，故任意方阵都满足收敛条件 $\rho (A)<R$

$e^A=\sum _{k=0}^{\infty }\frac{1}{k!}{A}^k$ ，$sinA=\sum _{k=0}^{\infty }(-1{)}^k\frac{A^{2k+1}}{(2k+1)!}$ ，$cosA=\sum _{k=0}^{\infty }(-1{)}^k\frac{A^{2k}}{(2k)!}$ 都绝对收敛

---

• $ln(1+x)=\sum _{k=1}^{\infty }(-1{)}^{k-1}\frac{x^k}{k}$ 的收敛半径为 $r=1$ ，

  $(1-x{)}^{-1}=1+x+\cdots +x_{\cdots }^k$ 的收敛半径 $r=1$

  $(1-x{)}^{-2}=1+2x+3x^2+\cdots +k{x}^{k-1}+\cdots$ 的收敛半径 $r=1$

$ln(I+A)=\sum _{k=1}^{\infty }(-1{)}^{k-1}\frac{A^k}{k}$ 的绝对收敛条件为 $\rho (A)<1$ 或 $\Vert A\Vert <1$

$(I-A{)}^{-1}=\sum _{k=0}^{\infty }{A}^k$ 的绝对收敛条件为 $\rho (A)<1$ 或 $\Vert A\Vert <1$

$(I-A{)}^{-2}=\sum _{k=1}^{\infty }k{A}^{k-1}$ 的绝对收敛条件是 $\rho (A)<1$ 或 $\Vert A\Vert <1$