矩阵论杂记

前言

​   返校如火如荼，各地也有零星疫情肆虐。我又回来上班啦！~​  

有疫情在家过笑嘻嘻，不工作没房租惨兮兮！

​   由于在坐班，防止复习的过程中犯困，所以一边看一边记录，今天是一些矩阵论的笔记。


正文开始~

CSDN (゜-゜)つロ 干杯

线性空间与线性变换

• 线性空间的性质（8条）：

  • 加法交换律
  • 加法结合律
  • 存在零元
  • 存在负元
  • 数乘结合率
  • 存在1
  • 分配率（2种）
    
    

• 过渡矩阵
  $({\beta }_1,{\beta }_2,...,{\beta }_n)=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)C$
  其中C是可逆矩阵，记某个向量a在$\beta$基下的坐标为Y，在$\alpha$基下的坐标为X：
  即为：$\alpha =({\beta }_1,{\beta }_2,...,{\beta }_n)Y=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)X$
  新旧坐标满足以下关系：
  $X=CY$

• 线性子空间
  满足线性运算封闭即可
  
  

• 对于矩阵A，可以得到关于A的两个相关子空间
  零空间：N(A)={ x | Ax=0 } $\in F^n$
  列空间（基的线性组合）：R(A)=L{A1, A2, … , An} $\in F^n$, $A_i$为A的列向量

• 交空间and和空间
  W 1 ⋂ W 2 = { α ∣ α ∈ W 1 , α ∈ W 2 } W_1 \bigcap W_2 = \{ \alpha | \alpha\in W_1, \alpha\in W_2 \} W1​⋂W2​={α∣α∈W1​,α∈W2​}
  W 1 + W 2 = { α ∣ α 1 + α 2 , α 1 ∈ W 2 , α 2 ∈ W 2 } W_1 + W_2 = \{ \alpha | \alpha_1 + \alpha_2, \alpha_1\in W_2, \alpha_2 \in W_2 \} W1​+W2​={α∣α1​+α2​,α1​∈W2​,α2​∈W2​}
  
  

• 维数公式
  $dim(W_1)+dim(W_2)=dim(W_1+W_2)+dim(W_1\bigcap W_2)$

• 直和子空间
  记有$W=W_1+W_2$， 若 W 1 ⋂ W 2 = { 0 } W_1 \bigcap W_2=\{ 0 \} W1​⋂W2​={0} （注意这里是零元素，不是指数字0）， 则记$W=W_1⨁W_2$
  性质：
  • W中的元素都由W1和W2中元素相加且唯一的表达
  • 0向量的表达式唯一
  • $dim(W)=dim(W_1)+dim(W_2)$

• 内积空间

  • 性质：

    • 对称性：$(\alpha ,\beta )=\overline{(\beta ,\alpha )}$
    • 线性性：
      • $(k\alpha ,\beta )=k(\alpha ,\beta )$
      • $({\alpha }_1+{\alpha }_2,\beta )=({\alpha }_1,\beta )+({\alpha }_2,\beta )$
    • 正定性：$(\alpha ,\alpha )\ge 0$， 等号成立的充要条件为 $\alpha =0$

  • 向量长度
    $||\alpha ||=\sqrt{(\alpha ,\alpha )}$

  • 柯西不等式

    • $|(\alpha ,\beta ){|}^2\le (\alpha ,\alpha )(\beta ,\beta )$
    • $|(\alpha ,\beta )|\le ||\alpha ||\cdot ||\beta ||$
    • $|\alpha +\beta |\le ||\alpha ||+||\beta ||$

  • 施密特正交化
    将$({\beta }_1,{\beta }_2,...,{\beta }_n)$化为标准正交基
    代码实现可以看这里
    过程：

    • ${\beta }_1={\alpha }_1,{\epsilon }_1=\frac{{\beta }_1}{||{\beta }_1||}$
    • ${\beta }_2={\alpha }_2-({\alpha }_2,{\epsilon }_1)\cdot {\epsilon }_1,{\epsilon }_2=\frac{{\beta }_2}{||{\beta }_2||}$
    • ${\beta }_n={\alpha }_n-{\sum }_{i=1}^{n-1}({\alpha }_n,{\epsilon }_i)\cdot {\epsilon }_i$
      
      

  • 线性变换

    • 在线性空间$V_n(F)$上定义一个映射到$V_n(F)$的变换T，满足线性运算：

      • $T(\alpha +\beta )=T(\alpha )+T(\beta )$
      • $T(k\alpha )=kT(\alpha )$

    • 线性变换不改变原来的线性相关性质

    • 线性变换的矩阵：$T({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)A$
      坐标关系：设$\alpha$和$T(\alpha )$在基$({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$的坐标为X和Y，则有
      Y=AX

    • 不同基下线性变换的转换：
      $({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$和$({\beta }_1,{\beta }_2,...,{\beta }_n)$是Vn的两组基，且有
      $({\beta }_1,{\beta }_2,...,{\beta }_n)=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)C$
      线性变换T在$\alpha$基和$\beta$基下的变换矩阵为A和B，则A和B的关系为：
      $B=C^{-1}AC$，且C是可逆的，表明不同基下的变换矩阵是相似的。

• 不变子空间和特征子空间

  • 不变：$\forall \alpha \in W,T(\alpha )\in W$
  • 特征： V λ ( A ) = { A ξ = λ ξ } V_{\lambda}(A)=\{ A \xi = \lambda \xi \} Vλ​(A)={Aξ=λξ}

• 正交变换
  性质：

  • 不改变向量内积：$(T(\alpha ),T(\beta ))=(\alpha ,\beta )$
  • 标准正交基经过T仍是标准正交基
    常见的正交变换矩阵：
    $$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
    $$\left[\begin{array}{cc}-1\text{−1}-1& 0\\ 0& I_{n-1}\text{In−1}{I}_{n-1}\end{array}\right]$$

• 线性变换矩阵的特征值和特征向量
  若存在线性变换T以及$\xi \in V_n(F)$和$\lambda \in F$满足$T(\xi )=\lambda \xi$
  设T的线性变换矩阵在基$({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$为A，则A的特征值就是T的特征值，若X是A的特征向量，则$\xi =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)X$是T的特征向量。
  T的特征值由T决定，即在不同基下的变换矩阵的特征值相同

• 线性变化矩阵的对角化
  充要条件：T有n个线性无关的特征向量，亦或是有n个互异的特征值

• 幂等矩阵和乘方矩阵

  • 幂等矩阵：满足$A^2=A$，相似于对角矩阵
    $$A\sim \left[\begin{array}{cc}{I}_r\text{Ir}{I}_r& 0\\ 0& 0\text{0}0\end{array}\right]$$
    • 乘方矩阵：满足$A^2=I$， 相似于对角矩阵
      $$A\sim \left[\begin{array}{cc}{I}_s\text{Is}{I}_s& 0\\ 0& I_t\text{It}{I}_t\end{array}\right](s+t=n)$$

• Jordan 分解
  存在定理：任何方阵都相似于一个Jordan矩阵，存在可逆矩阵P：$P^{-1}AP=J\text{J}J$
  形如：
  $$\left[\begin{array}{cccc}\lambda & 1& & \\ & \lambda & 1& \\ & & ...& 1\\ & & & \lambda \end{array}\right]$$
  
  

  Jordan分解的计算流程：

  1. 计算A的特征多项式，${\lambda }_i$为A的$k_i$重特征值，每个互异特征值的代数重数决定了其对应Jordan矩阵$J_i({\lambda }_i)$的阶数
  2. 对于${\lambda }_i$，求特征向量，其几何重数（即自由维度的个数）为该$J_i({\lambda }_i)$中的块数
  3. 如果几何重数等于代数重数，则$J_i({\lambda }_i)$为$k_i$对角矩阵
  4. 如果几何重数小于代数重数，已计算出的特征向量记为${\alpha }_i$，则使用Jordan链求出广义特征向量，递归求解，直至方程不相容
     $$\{\begin{array}{c}(A-{\lambda }_{1}I){\alpha }_1=0\\ (A-{\lambda }_{1}I){\beta }_2={\alpha }_1\\ (A-{\lambda }_{1}I){\beta }_3={\beta }_2\\ ...\\ (A-{\lambda }_{1}I){\beta }_{n_j}={\beta }_{n_j-1}\end{array}$$

• 最小多项式
  设A为n阶方阵，称矩阵$g(A)=a_m{A}^m+a_{m-1}{A}^{m-1}+...+a_1{A}_{+}{a}_{0}I$为矩阵多项式

  • g(A)和A的一些相关性：
    若${\lambda }_0$为A的特征值，则$g({\lambda }_0)$为$g(A)$的特征值
    如A相似于B：$P^{-1}AP=B$，则$g(A)$相似于$g(B)$：$P^{-1}g(A)P=g(B)$
    A和g(A)保持对角一致性

  • 通过以上性质，可以得到计算矩阵多项式的一种方法：

    • 设求得A的Jordan分解为$A=P{J}_A{P}^{-1}$，则$g(A)=Pg(J_A)P^{-1}$，即将计算$g(A)$的问题转化为计算$g(J_A)$的问题
    • 具体的$g(J_A)$的求法可以简记为，$J_i({\lambda }_i)$中对角线保持$g(\lambda )$，由下往上，对角线元素每向上一行则将$g(\lambda )$求一次导，除上一个对应向上行数的阶乘。（详见《矩阵论》（杨明，刘先忠）Page（51））

• 化零多项式
  可以证明得到方阵A的特征多项式即为A的化零多项式（化零多项式不唯一）

  • 最小多项式
    最小多项式的最高次项系数为1，且是次数最低的化零多项式，记为$m_T(\lambda )$。
    最小多项式中每一个因式的幂次均为对应${\lambda }_i$的Jordan块的最高阶数
    可对角化的矩阵的最小多项式一定是各一次因式的乘积
  • 利用最小多项式法求高阶矩阵多项式$g(A)$的步骤：
  1. 求A的特征多项式记为$\varphi (A)$
  2. 由于特征多项式是A的化零多项式，即$g(\lambda )=h(\lambda )\varphi ((\lambda )+\alpha (\lambda )$，其中$\alpha (\lambda )$为阶数比$g(A)$的未定多项式
  3. $g(\lambda )=\alpha (\lambda )$，用待定系数法求$\alpha (\lambda )$各未知系数
  4. $g(A)=\alpha (A)$

矩阵分解

• LDV分解和LU分解

• LU分解解线性方程组

• 满秩分解

• QR分解

• 正规矩阵
  形如：$A^{T}A=A{A}^T$ or $A^{H}A=A{A}^H$
  常见的正规矩阵：对角矩阵、对称矩阵、反对称矩阵、正交阵、酉阵
  性质：

  • 正规矩阵具有酉相似不变性，即$A^{H}A=A{A}^H$，若$A\sim B$，则$B^{H}B=B{B}^H$
  • A是正规矩阵的充要条件:
  1. A酉相似于对角阵，即存在酉阵U，使得$U^{H}AU=[\lambda \text{λ}\lambda ]$
  2. A有n个线性无关的特征向量组成了空间的一组标准正交基

• 奇异值分解 or SVD分解
  设有秩为r的矩阵$A_{m\times n}$，酉矩阵$U_{m\times m}$和$V_{n\times n}$，使得$A=U\Sigma V^H$，${\Sigma }_{m\times n}=\left[\begin{array}{cc}\Delta \text{Δ}\Delta & 0\text{0}0\\ 0\text{0}0& 0\text{0}0\end{array}\right]$，其中$\Delta$是一个对角矩阵。

  计算步骤：

  1. 求正规矩阵$A^{H}A$的特征值和特征向量，由正规矩阵性质，其特征向量相互正交，将特征向量标准化得到正交矩阵V
  2. 对于非零的奇异值${\sigma }_i=\sqrt{{\lambda }_i}$，求$u_i=\frac{1}{{\sigma }_i}A{v}_i$， 若是u数量不足m，则去一个合适的正交向量扩展到$m\times m$
  3. $A=U\Sigma V^H$

矩阵广义逆

• 左逆和右逆

• 投影变换

  设有$C^n=L⨁M$，x=y+z，$y\in L,z\in M$，若有线性变换$\sigma (x)=y$，则称$\sigma (x)$是$C^n$上从子空间M到子空间L的一个投影变换，在$C^n$空间的一组基下的矩阵称为投影矩阵。

  子空间 L是投影变换$\sigma$的像空间，子空间M是投影变换$\sigma$的核（零）空间，此时$C^n$空间可以分解为：$C^n=R(\sigma )+N(\sigma )$。

  线性变换$\sigma$是投影变换的充要条件是$\sigma$是幂等变换。（证明详见《矩阵论》（杨明，刘先忠）Page（102））

  由投影变换的矩阵是幂等矩阵来求投影矩阵A：

  1. 设子空间L的维度为r，M的维度为n-r，分别取基底： { y 1 , y 2 , . . . , y r } , { z 1 , z 2 , . . . , z n − r } \{y_1,y_2,...,y_r\}, \{z_1,z_2,...,z_{n-r}\} {y1​,y2​,...,yr​},{z1​,z2​,...,zn−r​}，则空间C的基底为 { y 1 , y 2 , . . . , y r , z 1 , z 2 , . . . , z n − r } \{y_1,y_2,...,y_r,z_1,z_2,...,z_{n-r}\} {y1​,y2​,...,yr​,z1​,z2​,...,zn−r​}
  2. 由投影变换的性质得：$A{y}_i=y_i,(i=1,2,...,r),A{z}_j=0,(j=1,2,...,n-r)$
  3. 作分块矩阵，$B=(y_1,y_2,...,y_r),C=(z_1,z_2,...,z_{n-r})$，则有$A(B|C)=(B,0\text{0}0)$
  4. (B|C)是可逆矩阵，则$A=(B,0\text{0}0)(B|C{)}^{-1}$

• 正交投影变换

  设$\sigma$是$C^n$空间上的投影变换，且$C^n=R(\sigma )⨁N(\sigma )$。如果$R(\sigma )$的正交补子空间满足$R(\sigma {)}^{\perp }=N(\sigma )$，则称$\sigma (x)$是$C^n$上一个正交投影变换，在$C^n$空间的一组基下的矩阵称为正交投影矩阵。

  正交投影矩阵的性质为幂等的Hermite阵，即满足：$A^2=A,A^H=A$。

  求正交投影矩阵的方法：

  1. 设子空间$L$的维度为r，$L^{\perp }$的维度为n-r，分别取基底 { y 1 , y 2 , . . . , y r } , { z 1 , z 2 , . . . , z n − r } \{y_1,y_2,...,y_r\}, \{z_1,z_2,...,z_{n-r}\} {y1​,y2​,...,yr​},{z1​,z2​,...,zn−r​}，则空间C的基底为 { y 1 , y 2 , . . . , y r , z 1 , z 2 , . . . , z n − r } \{y_1,y_2,...,y_r,z_1,z_2,...,z_{n-r}\} {y1​,y2​,...,yr​,z1​,z2​,...,zn−r​}
  2. 由正交投影矩阵定义得$B^{H}C=0$
  3. (B|C)是列满秩矩阵，存在左逆$(B|C{)}_L^{-1}=((B|C{)}^H(B|C){)}^{-1}(B|C{)}^H$
  4. $A=(B,0\text{0}0)(B|C{)}^{-1}=(B|C{)}_L^{-1}=(B,0\text{0}0)((B|C{)}^H(B|C){)}^{-1}(B|C{)}^H=B(B^{H}B{)}^{-1}{B}^H$

• 最佳最小二乘解

矩阵分析

• 向量范数（老是打成向量番薯，人麻了）

  对于线性空间V上的任意一个向量，对应一个非负实数$||x||$
  性质：正三齐

  1. 正定性：$||x||\ge 0,||x||=0,当且仅当x=0$
  2. 齐次性：$||ax||=|a|\cdot ||x||,a\in F$
  3. 三角不等式：$||x+y||\le ||x||+||y||$

  • 向量2-范数
    $x=(x_1,x_2,...,x_n{)}^T$，则其L2范数为$||x|{|}_2=\sqrt{{\sum }_{i=0}^n|x_i{|}^2}=\sqrt{|x_1{|}^2+|x_2{|}^2+...+|x_n{|}^2}$

  • 向量1-范数
    $||x|{|}_1={\sum }_{i=0}^n|x_i|$

  • 向量$\infty$-范数
    $||x|{|}_{\infty }=max|x_i|$

  • 向量范数的连续性和等价性

  1. 向量范数是向量坐标的连续函数
  2. 有限维线性空间的任意两种向量范数等价

• 矩阵（方阵）范数
  在$F^{n\times n}$上定义一个非负实值函数，对于任意一个矩阵$A\in F$，对应一个非负函数$||A||$。
  性质：正三齐容

  1. 正三齐性质类同向量范数的性质
  2. 相容性：对于任意$A,B\in F^{n\times n}$，都有$||AB||\le ||A||\cdot ||B||$

  • F-范数
    $||A|{|}_F=({\sum }_{i=1}^n{\sum }_{j=1}^n|a_{ij}{|}^2{)}^{\frac{1}{2}}=[trace(A^{H}A){]}^{\frac{1}{2}}$
    特别地，$||A|{|}_F^2={\sum }_{i=0}^n{\sigma }_i^2$，其中${\sigma }_i$为$A^{H}A$的非零特征值。

  • 矩阵p范数

  1. $||A|{|}_1:最大列和$
  2. $||A|{|}_2:\sqrt{{\lambda }_m}{\lambda }_m为A^{H}A的最大特征值$
  3. $||A|{|}_{\infty }:最大行和$

• 矩阵幂级数

  • 谱半径：$\rho (A)=max|{\lambda }_i|,{\lambda }_i为A的特征值$
    谱半径为任何矩阵范数的下界，A的特征值定义在复平面上以原点为中心的，$\rho (A)$为半径的圆盘上。

    对于$A^k$，其收敛的充要条件为 $\rho (A)<1$

  • 矩阵幂级数：$a_{0}I+a_{1}A+a_2{A}^2+...+a_k{A}^k+...$
    判断收敛性：

    1. 设$\sum a_k{A}^k$的收敛半径为R
    2. 若$\rho (A)<R$，收敛
    3. 若$\rho (A)>R$，发散
    4. 由于$\rho (A)$是矩阵范数的下界，所以可通过判断矩阵p范数来间接得到收敛性

• 矩阵函数

  设$f(z)$是解析函数，$f(z)={\sum }_{k=1}^{\infty }{a}_k{z}^k$的收敛半径为R，对于方阵A，其谱半径也小于R时（这里主要是使得矩阵函数有意义），则称$f(A)={\sum }_{k=1}^{\infty }{a}_k{A}^k$为A的矩阵函数。
  常见的全复平面收敛的矩阵函数，$e^A,cosA,sinA$
  ！！指数函数中满足$e^a{e}^b=e^{a+b}$，但矩阵指数函数中一般不成立，当矩阵A和B可交换时，该性质成立：$AB=BA\to e^A{e}^B=e^{A+B}$
  
  

• 最小多项式求矩阵幂级数

  设$m_{\lambda }(A)$为n阶矩阵A的最小多项式，次数为m，若$f(\lambda )$是$k(k\ge m)$次多项式，则$f(\lambda )$可表示为：$f(\lambda )=m_{\lambda }(A)q(\lambda )+r(\lambda )$，余式$r(\lambda )$是0或者次数低于m的多项式。即任意次数大于m的矩阵多项式$f(A)$都可以化为次数不大于m-1的A的多项式$r(A)$。

  计算步骤：

  1. 求出A的最小多项式$m_{\lambda }(A)$，阶数为m
  2. 令$g(\lambda )=c_0+c_1\lambda +...+c_{m-1}{\lambda }_{m-1}$，为次数不超过m的多项式
  3. $f(A)=g(A)$的充要条件为：$g^{(j)}({\lambda }_i)=f^{(j)}({\lambda }_i)$， i为特征值的个数，j为对应于某个特征值在最小多项式中的幂次。
  4. 利用待定系数法求$g(\lambda )$，结果均由$f^{(j)}({\lambda }_i)$表示
  5. $f(A)=c_{0}I\text{I}I+c_{1}A+...+c_{m-1}{A}^{m-1}$
     实际计算例子可以参考（详见《矩阵论》（杨明，刘先忠）Page（129））

未完待续