矩阵理论| 特殊矩阵：初等矩阵(1) - （行列式、逆矩阵、特征向量）、初等矩阵的相关定理和性质

初等矩阵

初等矩阵（elementary matrix）形如$$\mathbf{I}+\mathbf{u}{\mathbf{v}}^T$$其中$\mathbf{u}{\mathbf{v}}^T$为秩1矩阵（列向量乘以行向量，称为外积），并且满足${\mathbf{v}}^T\mathbf{u}={\mathbf{u}}^T\mathbf{v}\ne -1$（原因后面说）

下一篇文章会指出，基本镜射矩阵/Householder矩阵（酉矩阵）、初等行变换矩阵，都属于初等矩阵

初等矩阵的行列式、逆矩阵

初等矩阵$\mathbf{I}+\mathbf{u}{\mathbf{v}}^T$的行列式为：$$det(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)=1+{\mathbf{v}}^T\mathbf{u}$$

证明：
根据矩阵行列式引理 (matrix determinant lemma)，$\det \left(A+{\mathbf{uv}}^T\right)=\left(1+{\mathbf{v}}^T{A}^{-1}\mathbf{u}\right)(\det A)$，带入直接可得结果

初等矩阵$\mathbf{I}+\mathbf{u}{\mathbf{v}}^T$的逆矩阵为：$$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T{)}^{-1}=\mathbf{I}-\frac{\mathbf{u}{\mathbf{v}}^T}{1+{\mathbf{v}}^T\mathbf{u}}=\mathbf{I}-\frac{\mathbf{u}{\mathbf{v}}^T}{det(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)}$$注意：一切初等矩阵都是可逆的

• 初等矩阵的逆$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T{)}^{-1}=\mathbf{I}-\frac{\mathbf{u}{\mathbf{v}}^T}{1+{\mathbf{v}}^T\mathbf{u}}$也是初等矩阵（分母不为0，要求${\mathbf{v}}^T\mathbf{u}\ne -1$）
• 初等矩阵的转置$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T{)}^T=\mathbf{I}+\mathbf{v}{\mathbf{u}}^T$也是初等矩阵；

初等矩阵的特征值与特征向量

$\mathbf{I}+\mathbf{u}{\mathbf{v}}^T$的特征向量：
（$\mathbf{u}$或$\mathbf{v}$为零向量时，退化为$\mathbf{I}$，下面只讨论$\mathbf{u}$和$\mathbf{v}$均不是零向量的情况）

• 必有特征向量： s p a n { v } ⊥ span\{\bold v\}^{\bot } span{v}⊥的一组基 { x 1 , x 2 , . . . , x n − 1 } \{\bold x_1,\bold x_2,...,\bold x_{n-1}\} {x1​,x2​,...,xn−1​}（$n-1$个无关特征向量），特征值均为1

理解：
对于 s p a n { v } ⊥ span\{\bold v\}^{\bot } span{v}⊥（直线 s p a n { v } span\{\bold v\} span{v}的正交补）中的任意向量$\mathbf{x}$，由于${\mathbf{x}}^T\mathbf{v}=0$，有$$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)\mathbf{x}=\mathbf{x}+\mathbf{x}({\mathbf{v}}^T\mathbf{x})=\mathbf{x}$$
又因为 d i m [ s p a n { v } ⊥ ] = n − 1 dim[span\{\bold v\}^{\bot }]=n-1 dim[span{v}⊥]=n−1，可以找到$n-1$个无关的向量 { x 1 , x 2 , . . . , x n − 1 } \{\bold x_1,\bold x_2,...,\bold x_{n-1}\} {x1​,x2​,...,xn−1​}

• 必有特征向量：$\mathbf{u}$，特征值$1+{\mathbf{v}}^T\mathbf{u}$
  （注意，前提是 u ∉ s p a n { v } ⊥ \bold u\notin span\{\bold v\}^{\bot } u∈/span{v}⊥，或者说${\mathbf{v}}^T\mathbf{u}\ne 0$，否则$\mathbf{u}$包含于上面讨论过的特征向量中）

理解：
下式必然成立：$$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)\mathbf{u}=\mathbf{u}+\mathbf{u}({\mathbf{v}}^T\mathbf{u})=(1+{\mathbf{v}}^T\mathbf{u})\mathbf{u}$$

最终给出结论（分两种情况讨论）：
①当$\mathbf{u}$不垂直于$\mathbf{v}$（ u ∉ s p a n { v } ⊥ \bold u\notin span\{\bold v\}^{\bot } u∈/span{v}⊥，或者说${\mathbf{v}}^T\mathbf{u}={\mathbf{u}}^T\mathbf{v}\ne 0$）
有$n$个无关的特征向量： { x 1 , x 2 , . . . , x n − 1 , u } \{\bold x_1,\bold x_2,...,\bold x_{n-1},\bold u\} {x1​,x2​,...,xn−1​,u}，特征值$\lambda (\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)=\left\{1,1,\cdots ,1,1+{\mathbf{v}}^H\mathbf{u}\right\}$

②当$\mathbf{u}$垂直于$\mathbf{v}$（ u ∈ s p a n { v } ⊥ \bold u\in span\{\bold v\}^{\bot } u∈span{v}⊥，或者说${\mathbf{v}}^T\mathbf{u}={\mathbf{u}}^T\mathbf{v}=0$）
只有$n-1$个无关的特征向量： { x 1 , x 2 , . . . , x n − 1 } \{\bold x_1,\bold x_2,...,\bold x_{n-1}\} {x1​,x2​,...,xn−1​}，特征值全为1（代数重数为$n$，几何重数$n-1$），从而不可对角化

例题：设$\mathbf{u}=[1,-1,1{]}^T$，且$\mathbf{A}=\mathbf{I}+5\mathbf{u}{\mathbf{u}}^T$，求${\mathbf{u}}^T{\mathbf{A}}^{-1}\mathbf{u}$
解1：常规方法是求${\mathbf{A}}^{-1}$然后求答案${\mathbf{u}}^T{\mathbf{A}}^{-1}\mathbf{u}$；
解2：
利用特征向量的知识，$\mathbf{Au}=\mathbf{u}+5\mathbf{u}({\mathbf{u}}^T\mathbf{u})=16\mathbf{u}$，
因此逆矩阵有特征值$\frac{1}{16}$，满足${\mathbf{A}}^{-1}\mathbf{u}=\frac{1}{16}\mathbf{u}$
所以${\mathbf{u}}^T{\mathbf{A}}^{-1}\mathbf{u}=\frac{1}{16}{\mathbf{u}}^T\mathbf{u}=\frac{3}{16}$

初等矩阵的相关定理和性质

初等矩阵是可逆矩阵的基本组件

任意非奇异/可逆矩阵，必然可以分解为若干个初等矩阵之积
或者说：矩阵$\mathbf{A}$为可逆矩阵$⟺$$\mathbf{A}$能表示为初等矩阵之积

理解：
在矩阵求逆时，我们学习过Gauss-Jordan法：将矩阵$\mathbf{A}$通过初等行变换消元得到单位阵$\mathbf{I}$，同时就能求出${\mathbf{A}}^{-1}$
现在将对$\mathbf{A}$执行的初等行变换操作记为$E_1,E_2,...,E_k$，则消元过程为$$E_k...E_2{E}_1\mathbf{A}=\mathbf{I}$$可见，可逆矩阵$\mathbf{A}$必然可以分解为一系列初等矩阵之积：$\mathbf{A}=E_1^{-1}{E}_2^{-1}...E_k^{-1}$

初等矩阵可完成任意两向量之间的映射

对于任意的$\mathbf{a},\mathbf{b}\in {\mathbb{C}}^n$，必然存在初等矩阵，使得$(\mathbf{I}+\mathbf{u}{\mathbf{v}}^T)\mathbf{a}=\mathbf{b}$，并且其中初等矩阵满足$\mathbf{u}=\frac{\mathbf{a}-\mathbf{b}}{{\mathbf{v}}^T\mathbf{a}}$

应用：解方程组
从高斯消元法来看，此性质就是说，一定存在初等矩阵，能够将每一列$\mathbf{a}$消元为主元列$\mathbf{b}$
具体消元的初等矩阵就是之后要介绍的初等下三角矩阵

reference：
特殊矩阵 （10）：基本矩阵
基本矩阵的几何意义