[矩阵论] Unit 5. 矩阵范数 - 知识点整理

• 注: 以下内容均由个人整理, 不保证完全准确, 如有纰漏, 欢迎交流讨论
• 参考: 杨明, 刘先忠. 矩阵论(第二版)[M]. 武汉: 华中科技大学出版社, 2005

5 矩阵范数

5.1 向量范数

向量范数概念

Def 5.1: $V_n(F)$ 上的实值函数 $\Vert \cdot \Vert :V_n(F)\to R^{+}$ 满足 $\forall x\in V$:

• 正定性: $\Vert x\Vert \ge 0$, $\Vert x\Vert =0\iff x=\vec{0}$
• 齐次性: $\forall k\in F,\Vert kx\Vert =|k|\Vert x\Vert$
• 三角不等式: $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$

则称 $\Vert \cdot \Vert$ 为 $V_n(F)$ 上的范数, $[V_n(F);\Vert \cdot \Vert ]$ 是赋范空间

Hölder 范数(p-范数): $\Vert x{\Vert }_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$

• $p=1,\Vert x{\Vert }_1={\sum }_{i=1}^n|x_i|$
• $p=2,\Vert x{\Vert }_2=\sqrt{{\sum }_{i=1}^n|x_i{|}^2}$
• p = ∞ , ∥ x ∥ ∞ = m a x { ∣ x i ∣ , 1 ≤ i ≤ n } p=\infty,\Vert x\Vert_\infty=max\{|x_i|,1\leq i\leq n\} p=∞,∥x∥∞​=max{∣xi​∣,1≤i≤n}

向量范数收敛性质

向量范数的连续性: $|a-b\Vert \to 0\Rightarrow |\Vert \alpha \Vert -\Vert \beta \Vert |\to 0$
向量范数是坐标的连续函数.

向量范数等价性

有限维线性空间 $V_n(F)$ 的任意两种向量范数都是等价的.
$\Vert \alpha {\Vert }^{(1)}\to 0\Rightarrow \Vert \alpha {\Vert }^{(2)}\to 0$

5.2 矩阵范数

矩阵范数概念

Def 5.3: $F^{n\times n}$ 上的实值函数 $\Vert \cdot \Vert :F^{n\times n}\to R^{+}$ 满足 $\forall A\in F^{n\times n}$:

• 正定性: $\Vert A\Vert \ge 0$, $\Vert A\Vert =0\iff A=0$
• 齐次性: $\forall k\in F,\Vert kA\Vert =|k|\Vert A\Vert$
• 三角不等式: $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$
• 相容性: $\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$

则称 $\Vert \cdot \Vert$ 为矩阵范数.

常见矩阵范数:

• $\Vert A\Vert ={\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}|$
• F-范数: $\Vert A{\Vert }_F={\left({\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}{|}^2\right)}^{\frac{1}{2}}=tr(A^{H}A{)}^{\frac{1}{2}}=\sqrt{{\sigma }_1^2+{\sigma }_2^2+...+{\sigma }_r^2}$

矩阵范数性质:
$\forall \Vert A\Vert$:

• $\Vert I\Vert \ge 1$
  ($\Vert I\Vert =\Vert I\cdot I\Vert \le \Vert I\Vert \cdot \Vert I\Vert$)
• $\Vert A^n\Vert \le \Vert A{\Vert }^n$
  ($\Vert AB\Vert \le \Vert A\Vert \cdot \Vert B\Vert$)
• $\Vert A^{-1}\Vert \ge \Vert A{\Vert }^{-1}$
  ($\Vert I\Vert =\Vert A\cdot A^{-1}\Vert \le \Vert A\Vert \cdot \Vert A^{-1}\Vert$)
• $A\stackrel{酉}{\sim }B\Rightarrow \Vert A{\Vert }_F=\Vert B{\Vert }_F$

诱导范数

Def 5.4 向量范数与矩阵范数相容: 设 $\Vert x\Vert$ 是向量范数 , $\Vert A\Vert$ 是矩阵范数, 若 $\Vert Ax\Vert \le \Vert A\Vert \cdot \Vert x\Vert$, 则称矩阵范数 $\Vert A\Vert$ 与向量范数 $\Vert x\Vert$ 是相容的.

Th 5.3: 设 $\Vert x\Vert$ 是向量范数, 则 $\Vert A\Vert =ma{x}_{x\ne 0}\left\{\frac{\Vert Ax\Vert }{\Vert x\Vert }\right\}$ 是与之相容的矩阵范数, 称为由向量范数 $\Vert x\Vert$ 诱导的矩阵范数.

p-范数诱导的矩阵范数:

• ∥ A ∥ 1 = m a x j { ∑ i = 1 n ∣ a i j ∣ } \Vert A\Vert_1=max_j\left\{\sum_{i=1}^{n}|a_{ij}|\right\} ∥A∥1​=maxj​{∑i=1n​∣aij​∣} 最大列和范数
• $\Vert A{\Vert }_{\infty }=ma{x}_i\left\{{\sum }_{j=1}^n|a_{ij}|\right\}$ 最大行和范数
• $\Vert A{\Vert }_2=\sqrt{{\lambda }_{max}}={\sigma }_1$, ${\lambda }_{max}$ 是 $A^{H}A$ 最大特征值 谱范数

5.3 向量序列和矩阵序列的极限

按分量(元素)收敛

向量序列 $x^k=(x_1^{(k)},x_2^{(k)},...,x_n^{(k)}{)}^T\in C^n,k=1,2,...$ (向量的每个分量都是关于 $k$ 的表达式)
按分量收敛 ⟺ $x_1^{(k)},x_2^{(k)},...,x_n^{(k)}$ 都收敛, 即 $\underset{k\to \infty }{\lim }{x}_i^{(k)}=a_i,1\le i\le n$
记为 $\underset{k\to \infty }{\lim }{x}^{(k)}=a=(a_1,a_2,...,a_n{)}^T$

矩阵序列 $A^{(k)}=(a_{ij}^{(k)})\in C^{n\times n},k=1,2,...$
按元素收敛 ⟺ $a_{ij}^{(k)}$ 均收敛, 即 $\underset{k\to \infty }{\lim }{a}_{ij}^{(k)}=a_{ij},1\le i,j\le n$
记为 $\underset{k\to \infty }{\lim }{A}^{(k)}=A=(a_{ij})$

按范数收敛

向量序列 { x ( k ) } \{x^{(k)}\} {x(k)} 按范数 $\Vert x\Vert$ 收敛于 $a$ ⟺ $\underset{k\to \infty }{\lim }\Vert x^{(k)}-a\Vert =0$
矩阵序列 { A ( k ) } \{A^{(k)}\} {A(k)} 按范数 $\Vert A\Vert$ 收敛于 $A$ ⟺ $\underset{k\to \infty }{\lim }\Vert A^{(k)}-A\Vert =0$

按分量(元素)收敛与按范数收敛的关系

按分量(元素)收敛 ⟺ 按任意给定的范数收敛

收敛序列性质

$a,b\in F,A_{n\times n}^{(k)}\to A,B_{n\times n}^{(k)}\to B$

• $a{A}_{n\times n}^{(k)}+b{B}_{n\times n}^{(k)}\to aA+bB$
• $A_{n\times n}^{(k)}{B}_{n\times n}^{(k)}\to AB$
• $|A_{n\times n}^{(k)}|\to |A|$, $\Vert A_{n\times n}^{(k)}\Vert \to \Vert A\Vert$
• $(A_{n\times n}^{(k)}{)}^{-1}\to A^{-1}$

收敛矩阵 $A$: $\underset{k\to \infty }{\lim }{A}^k\to 0$

5.4 矩阵幂级数

谱半径

Def’ 5.11 谱半径: 设矩阵 $A\in C^{n\times n}$ 的谱为 { λ 1 , . . . , λ s } \{\lambda_1,...,\lambda_s\} {λ1​,...,λs​}, 则谱半径为 ρ ( A ) = m a x { ∣ λ i ∣ , 1 ≤ i ≤ s } \rho(A)=max\{|\lambda_i|,1\leq i\leq s\} ρ(A)=max{∣λi​∣,1≤i≤s} (最大特征值的模).

谱半径性质:

• $\rho (A^k)=(\rho (A){)}^k$
• $\rho (kA)=|k|\rho (A)$
• $\rho (A)=\rho (A^T)$
• $A\sim B\Rightarrow \rho (A)=\rho (B)$
• 正规矩阵 $A$ ⇒ $\rho (A)=\Vert A{\Vert }_2={\sigma }_1$, 其中 $\Vert A{\Vert }_2$ 是谱范数
• $A^k\to 0\iff \rho (A)<1$
• $\rho (A)\le \Vert A\Vert$, 其中 $\Vert A\Vert$ 为任一范数
  含义: 谱半径是任何矩阵范数的下确界(下界中最大的)
• $\forall ϵ>0,\exists \Vert A{\Vert }^{\ast }:\Vert A{\Vert }^{\ast }\le \rho (A)+ϵ$

幂级数收敛性

Def 5.12 矩阵幂级数: 设 $A\in C^{n\times n},a_k\in C,k＝0,1,2...$ 称
$$a_{0}I+a_{1}A+a_2{A}^2+...+a_k{A}^k+...$$
为矩阵 $A$ 的幂级数, 记为 ${\sum }_{k=0}^{\infty }{a}_k{A}^k$
Def’ 5.13 矩阵幂级数的部分和 $S_N(A)={\sum }_{k=0}^N{a}_k{A}^k$
${\sum }_{k=0}^{\infty }{a}_k{A}^k$ 收敛 ⟺ { S N ( A ) } \{S_N(A)\} {SN​(A)} 部分和序列收敛 (每一个部分和都收敛)

幂级数与谱半径

复数项幂级数 $f(z)={\sum }_{k=0}^{\infty }{a}_k{z}^k$ 收敛半径为 $R$, 即 ${\sum }_{k=0}^{\infty }{a}_k\frac{d^n{z}^k}{d{z}^n}=\frac{d^{n}f(z)}{d{z}^n}$ 在 $|z|<R$ 收敛.

收敛半径求法:
对幂级数 ${\sum }_{k=0}^{\infty }{a}_k{z}^k$, 收敛半径(只看系数 $a_k$):

• 比值法: $R=\underset{k\to \infty }{\lim }\left|\frac{a_k}{a_{k+1}}\right|$
• 根值法: $R=\underset{k\to \infty }{\lim }\frac{1}{\sqrt[k]{|a_k|}}$

收敛性判别:

• $\rho (A)<R$ ⇒ ${\sum }_{k=0}^{\infty }{a}_k{A}^k$ 收敛
  $\rho (A)\le \Vert A\Vert <R$ ⇒ ${\sum }_{k=0}^{\infty }{a}_k{A}^k$ 收敛
• $\rho (A)>R$ ⇒ ${\sum }_{k=0}^{\infty }{a}_k{A}^k$ 发散
• $\rho (A)=R$ 收敛性不确定, 需要计算 Jordan 标准形来判断

5.5 矩阵函数

矩阵函数

设 $f(z)$ 是复变量的解析函数, $f(z)={\sum }_{k=0}^{\infty }{a}_k{z}^k$ 的收敛半径为 $R$. 如果矩阵 $A\in C^{n\times n}$ 的谱半径 $\rho (A)<R$(幂级数收敛),则称
$$f(A)=\sum _{k=0}^{\infty }{a}_k{A}^k$$
为 $A$ 的矩阵函数.

常见矩阵函数

• $e^A={\sum }_{k=0}^{\infty }\frac{1}{k!}{A}^k,\rho (A)<+\infty$
• $(I-A{)}^{-1}={\sum }_{k=0}^{\infty }{A}^k,\rho (A)<1$
• $\ln (I+A)={\sum }_{k=0}^{\infty }\frac{(-1{)}^{k-1}}{k}{A}^k,\rho (A)<1$
• $(I+A{)}^{-1}={\sum }_{k=0}^{\infty }(-1{)}^k{A}^k,\rho (A)<1$
• $\ln (I-A)=-{\sum }_{k=0}^{\infty }\frac{1}{k}{A}^k,\rho (A)<1$

函数 $e^A$ 的性质

• $AB=BA$ ⇒ $e^A{e}^B=e^B{e}^A=e^{A+B}$
• $e^0=I,e^I=eI$
• $(e^A{)}^{-1}=e^{-A}$

矩阵函数 Jordan 标准形求法

目标: 求矩阵 $A$ 的矩阵函数 $f(A)$

1. 计算矩阵 $A$ 的 $J_A$ 和 $P$ 以及 $P^{-1}$: $A\sim P{J}_A{P}^{-1}$
   $$f(A)=P\cdot f(J_A)\cdot P^{-1}=P\cdot diag(f(J_1),f(J_2),...,f(J_k))\cdot P^{-1}$$
   其中 $J_i$ 为每个 Jordan 块
2. 对于每个 Jordan 块 $J_i(\lambda )$
   $$f(J_i)=\left[\begin{array}{ccccc}f(\lambda )& f^{\prime }(\lambda )& \frac{g^{\prime \prime }(\lambda )}{2!}& \cdots & \frac{g^{r-1}(\lambda )}{(r-1)!}\\ & f(\lambda )& f^{\prime }(\lambda )& \ddots & ⋮\\ & & f(\lambda )& \ddots & \frac{f^{\prime \prime }(\lambda )}{2!}\\ & & & \ddots & f^{\prime }(\lambda )\\ & & & & f(\lambda )\end{array}\right]$$
   最终由 $f(J_i)$ 组成矩阵 $f(J_A)$
3. 由 $f(A)=P\cdot f(J_A)\cdot P^{-1}$ 计算得到通式 $f(A)$
4. 用具体的 $f(\lambda ),f^{\prime }(\lambda )$ 的值 (如 $\lambda =2:e^2,sin2$) 去替换 $f(A)$ 中的相应的 $f(\lambda ),f^{\prime }(\lambda )$

• 注: 方法基本和求矩阵多项式的方法一致

矩阵函数最小多项式求法

目标: 求矩阵 $A$ 的矩阵函数 $f(A)$

1. 求矩阵 $A$ 的 $J_A$ 从而得到其最小多项式 $m_A(\lambda )$
2. 根据 $m_A(\lambda )$ 次数设函数 $g(\lambda )=c_0+c_1\lambda +...+c_{m-1}{\lambda }^{m-1}$ 且 $g(\lambda )$ 满足
3. $g(\lambda )$ 的每个特征值在每个次数的导数值都与 $f(\lambda )$ 相等, 并由此构建方程, 求 $g(\lambda )$ 的每个参数 $c_0,c_1,...,c_{m-1}$.
   $$g^{(j)}({\lambda }_i)=f^{(j)}({\lambda }_i),i=1,2,...,s,j=0,1,...,n-1$$
4. 由 $g(\lambda )$ 得到 $g(A)=c_{0}I+c_{1}A+...+c_{m-1}{A}^{m-1}$ 的值, 也即 $f(A)$ 的值.

5.6 函数矩阵的微分与积分

$A(t)$ 连续、可微分、可积分 ⟺ $a_{ij}(t)$ 连续、可微分、可积分

5.7 矩阵函数的应用

微分方程组的一般形式

$$X^{\prime }(t)=A(t)X(t)+f(t),X(t_0)=C_0$$
$$\frac{d}{dt}\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\\ ⋮\\ x_n(t)\end{array}\right]=\left[\begin{array}{cccc}& & & \\ & a_{ij}& & \\ & & & \end{array}\right]\left[\begin{array}{c}{x}_1(t)\\ x_2(t)\\ ⋮\\ x_n(t)\end{array}\right]+\left[\begin{array}{c}{f}_1(t)\\ f_2(t)\\ ⋮\\ f_n(t)\end{array}\right]$$

一阶线性常系数齐次微分方程组

求解: $X^{\prime }(t)=AX(t),X(t_0)=C_0$ (常系数: $A$, 齐次:没有 $f(t)$)

解:
$$X(t)=e^{A(t-t_0)}X(t_0)\text{X(t)=eA(t−t0)X(t0)}X(t)=e^{A(t-t_0)}X(t_0)$$

一阶线性常系数非齐次微分方程组

求解: $X^{\prime }(t)=AX(t)+f(t),X(t_0)=C_0$ (常系数: $A$)

解:
$$X(t)=e^{A(t-t_0)}X(t_0)+{\int }_{t_0}^t{e}^{A(t-s)}f(s)ds$$