矩阵论(五)——矩阵分析

1. 向量范数

向量范数： $\forall x\in V$，若非负实数$||x||$满足
   (1) 正定性：$||x||\ge 0，且||x||=0⟺x=0$
   (2) 齐次性：$||ax||=|a|||x||，a\in F$
   (3) 三角不等式：$\forall x，y\in V，都有||x+y||\le ||x||+||y||$
则称||x||为向量x的范数，$[V；||.||]$为赋范空间

1-范数： $||x|{|}_1={\Sigma }_i|x_i|$
2-范数(向量长度，由内积所诱导的范数)： $||x|{|}_2=\sqrt{(x，x)}=\sqrt{x^{H}x}=\sqrt{{\Sigma }_i|x_i{|}^2}$
$\infty$-范数： $||x|{|}_{\infty }=max|x_i|$
p-范数： $\forall p\in (1,+\infty )，||x|{|}_p=\sqrt[p]{{\Sigma }_i|x_i{|}^p}，\forall x\in C^n$

例如：
若$x=(1,i,1+i{)}^T$，有
$||x|{|}_1=1+|i|+|1+i|=1+1+\sqrt{2}=2+\sqrt{2}$
$||x|{|}_2=\sqrt{1^2+|i{|}^2+|1+i{|}^2}=\sqrt{1+1+{\sqrt{2}}^2}=2$
∣ ∣ x ∣ ∣ ∞ = m a x { 1 ,   1 ,   2 } = 2 ||x||_\infty = max\{1,\ 1,\ \sqrt{2}\} = \sqrt{2} ∣∣x∣∣∞​=max{1, 1, 2 ​}=2 ​


向量范数的连续性： ${\alpha }_1,\cdots ,{\alpha }_n为C^n$的任一组基，$||.||为C^n$上任一向量范数，$\forall x\in C^n，有x={\Sigma }_i{x}_i{\alpha }_i，x_i\in C^n，则f(x_1,\cdots ,x_n)=||x||为x_1,\cdots ,x_n$的连续函数

向量范数的等价性： $||x|{|}^{(1)}与||x|{|}^{(2)}$是线性空间V上定义的两种向量范数，
若$\exists c_1,c_2>0，使c_1||x|{|}^{(2)}\le ||x|{|}^{(1)}\le c_2||x|{|}^{(2)}，\forall x\in V$，则称这两个范数等价
有限维线性空间的任意两种向量范数都是等价的
在无限维线性空间中，两个向量范数是可以不等价的

2. 矩阵范数

矩阵范数： $\forall A\in F^{n\times n}$，对应一个非负实数||A||满足
  (1) 正定性：$||A||\ge 0，且||A||=0⟺A=0$
  (2) 齐次性：$||aA||=|a|||A||，a\in F$
  (3) 三角不等式：$\forall A，B\in F^{n\times n}，都有||A+B||\le ||A||+||B||$
  (4) 相容性：$\forall A，B\in F^{n\times n}，都有||AB||\le ||A||||B||$
则称||A||为矩阵A的范数

F(Frobenius)-范数： $||A|{|}_F=\sqrt{{\Sigma }_i{\Sigma }_j|a_{ij}{|}^2)}=\sqrt{tr(A^{H}A)}=\sqrt{{\Sigma }_i{\sigma }_i^2}$

例如：

$A=(a_{ij})\in C^{n\times n}，||A|{|}_F=\sqrt{{\Sigma }_i{\Sigma }_j|a_{ij}{|}^2}$，则
$(1)||A|{|}_F=||A^H|{|}_F$
$(2)||UA|{|}_F=||AV|{|}_F=||UAV|{|}_F=||A|{|}_F$，其中U，V是酉矩阵
$(3)tr(A^{H}A)={\Sigma }_i{\Sigma }_j|a_{ij}{|}^2$

例如：
$A=\left(\begin{array}{ccc}0& 3i& 1\\ 0& -1& 0\\ -1& 1& 2\end{array}\right)，A^{H}A=\left(\begin{array}{ccc}1& -1& 2\\ -1& 11& 2-3i\\ -2& 2+3i& 5\end{array}\right)$
$||A|{|}_F=\sqrt{9+1+1+1+1+4}=\sqrt{tr(A^{H}A)}=\sqrt{1+11+5}=\sqrt{17}$

相容范数： $||Ax||\le ||A||.||x||$，其中||x||是向量范数，||A||是矩阵范数

诱导范数： ∣ ∣ A ∣ ∣ = m a x { ∣ ∣ A x ∣ ∣ ∣ ∣ x ∣ ∣ } ||A|| = max\{\frac{||Ax||}{||x||}\} ∣∣A∣∣=max{∣∣x∣∣∣∣Ax∣∣​}，其中||x||是向量范数且$x\ne 0$，称||A||为由向量范数||x||所诱导的诱导范数

矩阵p-范数： 由$||x|{|}_p$所诱导的矩阵范数。常用的p-范数为$||A|{|}_1，||A|{|}_2与||A|{|}_{\infty }$

列和范数： $||A|{|}_1=max({\Sigma }_{i=1}^n|a_{ij}|)$，np.max(np.sum(abs(arr), axis=1, keepdims=True), axis=0)

行和范数： $||A|{|}_{\infty }=max({\Sigma }_{j=1}^n|a_{ij}|)$，np.max(np.sum(abs(arr), axis=0, keepdims=True), axis=1)

谱范数： $||A|{|}_2=\sqrt{{\lambda }_1}，{\lambda }_1是A^{H}A$的最大特征值

例如：

3. 向量序列与矩阵序列的极限

3.1 向量序列的极限

$x^{(k)}=(x_1^{(k)}\cdots x_n^{(k)}{)}^T，k=1，2，\cdots 是C^n$空间的一个向量序列，如果当$k\to +\infty$时，它的n个分量数列都收敛，即${\lim }_{k\to \infty }{x}_i^{(k)}=a_i，i=1，2，\cdots ，n$，则称向量序列 { x ( k ) } \{x^{(k)}\} {x(k)}是按分量收敛的。向量$\alpha =({\alpha }_1\cdots {\alpha }_n{)}^T$是它的极限，记为$li{m}_{k\to \infty }{x}^{(k)}=\alpha 或x^{(k)}\to \alpha$
当至少有一个分量数列是发散的，则称向量序列是发散的。
例如

$x^{(k)}\in C^n，\alpha \in C^n，则{\lim }_{k\to \infty }{x}^{(k)}=\alpha ⟺{\lim }_{k\to \infty }||x^{(k)}-\alpha ||=0$，其中$||.||为C^n$中任一范数

3.2 矩阵序列的极限

矩阵序列 { A ( k ) } ， A ( k ) = ( a i j ( k ) ) ∈ C n × n ， 若 lim ⁡ k → ∞ a i j ( k ) = a i j ， i ， j = 1 ， ⋯ ， n \{A^{(k)}\}，A^{(k)} = (a_{ij}^{(k)}) \in C^{n \times n}，若\lim_{k \rightarrow \infty} a_{ij}^{(k)} = a_{ij}，i，j = 1，\cdots，n {A(k)}，A(k)=(aij(k)​)∈Cn×n，若limk→∞​aij(k)​=aij​，i，j=1，⋯，n，
则称矩阵序列 { A ( k ) } \{A^{(k)}\} {A(k)}收敛， A = ( a i j ( k ) ) 称 为 { A ( k ) } A = (a_{ij}^{(k)})称为\{A^{(k)}\} A=(aij(k)​)称为{A(k)}的极限，记为${\lim }_{k\to \infty }{A}^{(k)}=A或A^{(k)}=A，k\to \infty$
例如：
$A^{(k)}=\left(\begin{array}{cc}((1+\frac{1}{k}{)}^k& 1+\frac{1}{k}\\ & \\ -1& \frac{(-1{)}^k}{k}\end{array}\right)⟶A=\left(\begin{array}{cc}e& 1\\ & \\ -1& 0\end{array}\right)$

{ A ( k ) } ∈ C n × n ， ∣ ∣ A ∣ ∣ ∈ C n × n ， 则 l i m k → ∞ A ( k ) = ∣ ∣ A ∣ ∣    ⟺    l i m k → ∞ ∣ ∣ A ( k ) − A ∣ ∣ = 0 \{A^{(k)}\} \in C^{n \times n}，||A|| \in C^{n \times n}，则lim_{k \rightarrow \infty} A^{(k)} = ||A|| \iff lim_{k \rightarrow \infty} ||A^{(k)} - A|| = 0 {A(k)}∈Cn×n，∣∣A∣∣∈Cn×n，则limk→∞​A(k)=∣∣A∣∣⟺limk→∞​∣∣A(k)−A∣∣=0，其中$||.||为C^n$中任一范数

4. 矩阵幂级数

谱半径： ρ ( A ) = m a x ( ∣ λ i ∣ ) ， λ i ∈ { λ 1 ,   λ 2 ,   ⋯   ,   λ n } ， { λ 1 ,   λ 2 ,   ⋯   ,   λ n } 矩 阵 A ∈ C n × n \rho(A) = max(|\lambda_i|)，\lambda_i \in \{\lambda_1,\ \lambda_2,\ \cdots,\ \lambda_n\}，\{\lambda_1,\ \lambda_2,\ \cdots,\ \lambda_n\}矩阵A \in C^{n \times n} ρ(A)=max(∣λi​∣)，λi​∈{λ1​, λ2​, ⋯, λn​}，{λ1​, λ2​, ⋯, λn​}矩阵A∈Cn×n的全部特征值

$\rho (A^k)=(\rho (A){)}^k$
$A^k\to 0(k\to \infty )⟺\rho (A)<1$

$A\in C^{n\times n}，\forall 矩阵范数||A||\in C^{n\times n}，都有\rho (A)\le ||A||$。即A的谱半径是A的任意一种矩阵范数的下界。

$A\in C^{n\times n}，\forall ϵ>0$，存在某种矩阵范数$||A|{|}_{\ast }，使||A|{|}_{\ast }\le \rho (A)+ϵ$。即A的谱半径是A的所有矩阵范数的下确界
证明：

矩阵幂级数： ${\Sigma }_{k=0}^{\infty }{a}_k{A}^k=a_{0}I+a_{1}A+\cdots +a_k{A}^k+\cdots ，其中A\in C^{n\times n}，a_k\in C$

矩阵幂级数的部分和： $S_n(A)={\Sigma }_{k=0}^n{a}_k{A}^k$

若 { S n ( A ) } \{S_n(A)\} {Sn​(A)}收敛，则称${\Sigma }_{k=0}^{\infty }{a}_k{A}^k$收敛，否则发散

若${\lim }_{n\to \infty }{S}_n(A)=S$，则称S为${\Sigma }_{k=0}^{\infty }{a}_k{A}^k$的和矩阵

收敛性判别： 若复变量z的幂级数${\Sigma }_{k=0}^{\infty }{a}_k{z}^k$的收敛半径为R，$R={\lim }_{n\to \infty }\frac{a_n}{a_{n+1}}$，而方阵$A\in C^{n\times n}$的谱半径为$\rho (A)$，则
  (1) $\rho (A)<R，则{\Sigma }_{k=0}^{\infty }{a}_k{A}^k$收敛
  (2) $\rho (A)>R，则{\Sigma }_{k=0}^{\infty }{a}_k{A}^k$发散
  (3) $\rho (A)=R，则{\Sigma }_{k=0}^{\infty }{a}_k{A}^k$收敛性不定

例如：