矩阵论（零）：线性代数基础知识整理（1）——逆矩阵、（广义）初等变换、满秩分解

矩阵论专栏：专栏（文章按照顺序排序）

线性代数是矩阵论的先修课程，本篇博客整理线性代数的基础理论知识，为矩阵论的学习做准备。限于篇幅，梳理的重点将在定理和结论上（只给出部分必要的定义），对最基础的概念（如矩阵及其基本运算等等）不清楚的童鞋可以参考矩阵的基本运算。
本文的讨论在一般的数域$F$中进行，$F$可以是有理数域、实数域、复数域等。这里不给出数域的严格定义，只要知道数域是复数域的一个对加减乘除运算封闭的子集，且有理数域是最小的数域即可。需要特别指出的是，我们所关心的数域都是复数域的子集，并不是什么抽象的代数数域。由于数域都是复数域的子集，在复数中定义的基本运算以及相应的运算律往往也适用于实数、有理数，例如取共轭，实数和有理数的共轭是其自身。数域的相关理论可参考数域和维基。

---

本篇博客先介绍线性代数中一些基本的概念，然后重点围绕“秩”这一重要概念整理相关结论：

• 复数的运算法则、复矩阵的共轭与共轭转置
• 行列式的性质
• 方阵的迹及其性质
• 逆矩阵
  • 伴随矩阵
  • 逆矩阵
  • 关于逆矩阵的一个常用公式（Woodbury-Sherman-Morrison公式）
• 初等变换与矩阵的秩
  • 初等变换、初等矩阵
  • 矩阵的秩及性质
  • 分块矩阵的初等变换（广义初等变换）
    • 矩阵打洞技巧
    • 方阵乘积的行列式公式
    • 分块矩阵的逆
    • 分块矩阵的秩
• 满秩分解
  • 满秩分解的定义
  • 满秩分解的存在性
  • 满秩分解的快速计算方法

---

复数的运算法则、复矩阵的共轭与共轭转置

• 复数的基本运算法则
  复数的基本运算法则与实数的完全一致，且根据复数的定义$z=a+bi$容易验证，现列举如下：（设$a,b,c\in C$）
  • 加法交换律：$a+b=b+a$
  • 加法结合律：$a+(b+c)=(a+b)+c$
  • 乘法交换律：$a\times b=b\times a$
  • 乘法结合律：$a\times (b\times c)=(a\times b)\times c$
  • 乘法对加法的左分配律：$(a+b)\times c=a\times c+b\times c$
  • 乘法对加法的右分配律：$a\times (b+c)=a\times b+a\times c$
• 复数的共轭、复数的模的运算律（设$x,y\in C$）
  • $\overline{x\pm y}=\overline{x}\pm \overline{y}$
  • $\overline{xy}=\bar{x}\bar{y}$
  • $\overline{(\frac{x}{y})}=\frac{\overline{x}}{\overline{y}}$
  • $x\overline{x}=\overline{x}x=|x{|}^2$
  • $|xy|=|x||y|$
• 矩阵的共轭
  矩阵的共轭就是将原矩阵的每个元素取共轭，即若$A=(a_{ij}{)}_{m\times n}$，则$\overline{A}=(\overline{a_{ij}}{)}_{m\times n}$。实矩阵的共轭是其本身。根据复数共轭的运算率，可得矩阵的共轭具有如下性质：
  • $\overline{\overline{A}}=A$
  • $\overline{A+B}=\overline{A}+\overline{B}$
  • $\overline{kA}=\bar{k}\overline{A},k\in C$
  • $\overline{AB}=\bar{A}\bar{B}$
• 矩阵的共轭转置
  矩阵的共轭转置即先取共轭再转置或先转置再取共轭，即$A^H=\overline{(A^T)}=(\overline{A}{)}^T$。实矩阵的转置是复矩阵的共轭转置的特例。矩阵的共轭转置具有如下性质：
  • $(A^H{)}^H=A$
  • $(A^H{)}^T=(A^T{)}^H$
  • $\overline{A^H}=(\overline{A}{)}^H$
  • $(A+B{)}^H=A^H+B^H$
  • $(kA{)}^H=\overline{k}{A}^H,k\in C$
  • $(AB{)}^H=B^H{A}^H$
• Hermite矩阵（共轭对称矩阵）
  若方阵A满足$A^H=A$，则称A是Hermite矩阵。实对称矩阵是一种Hermite矩阵。

---

行列式的性质

设F为一数域，给定正整数$n$，在$F$上可以构造出唯一的映射$F^{n\times n}\to F$满足行列式第一公理和行列式第二公理。行列式的具体表达式可以使用置换或逆序数写出，本文略去，具体可参考博客以及知乎。
设$A,B\in F^{n\times n}$，$k\in F$为常数，根据置换或逆序数的性质可得行列式的如下性质：

• $det(A^T)=det(A)$
• $det(A^H)=\overline{det(A)}$
• $det(kA)=k^{n}det(A)$
• 行列式的某一行（列）乘非零常数$k\in F$，则行列式的值变为原来的$k$倍
• 互换行列式的两行（或两列），则行列式的值取负
• 行列式的某一行（列）加上另一行（列）的常数倍，行列式的值不变
• $det(AB)=det(A)det(B)$
  证：见分块矩阵的初等变换。
• 若A是共轭对称矩阵，则$det(A)\in R$
  证：因为$det(A)=det(A^H)=\overline{det(A)}$，所以$det(A)$的虚部为零，$det(A)\in R$。

设$A\in F^{m\times m},B\in F^{n\times n}$，则：

• 若A是对角矩阵或上（下）三角矩阵，则A的行列式是A的主对角元之积
• 拉普拉斯展开式一：$\left|\begin{array}{cc}A& \ast \\ O& B\end{array}\right|=\left|\begin{array}{cc}A& O\\ \ast & B\end{array}\right|=|A||B|$
• 拉普拉斯展开式二：$\left|\begin{array}{cc}O& A\\ B& \ast \end{array}\right|=\left|\begin{array}{cc}\ast & A\\ B& O\end{array}\right|=(-1{)}^{mn}|A||B|$

---

方阵的迹及其性质

• 定义
  方阵A的迹$tr(A)$定义为$A=(a_{ij}{)}_{n\times n}$的主对角元之和，即$tr(A)={\sum }_{i=1}^n{a}_{ii}$
• 性质
  • 设A、B均为n阶方阵，则$tr(A\pm B)=tr(A)\pm tr(B)$
  • $tr(cA)=ctr(A),c\in F$
  • $tr(A^T)=tr(A),tr(\bar{A})=tr(A^H)=\overline{tr(A)}$
    推论：$tr(A^{T}B)=tr(B^{T}A)={\sum }_{i,j}{A}_{ij}{B}_{ij}$，其中A、B均为$m\times n$矩阵
  • 设A为$m\times n$矩阵，B为$n\times m$矩阵，则$tr(AB)=tr(BA)={\sum }_{i,j}{A}_{ij}{B}_{ji}$
  • 设A、B、C均为$m\times n$矩阵，则$$tr((A\odot B{)}^{T}C)=tr(A^T(B\odot C))=\sum _{i,j}{A}_{ij}{B}_{ij}{C}_{ij}$$式中$\odot$是逐元素乘法（Hadarmard积）
  • 设A、B、C均为$m\times n$矩阵，$B$的所有元素均非零，则$$tr((A\oslash B{)}^{T}C)=tr(A^T(C\oslash B))=\sum _{ij}\frac{A_{ij}{C}_{ij}}{B_{ij}}$$式中$\oslash$是逐元素除法

---

逆矩阵

• 定义
  设$A\in F^{n\times n}$，若存在$B\in F^{n\times n}$使得$$AB=BA=I$$其中$I$是单位矩阵，则称A是可逆的，B是A的逆矩阵，记为$B=A^{-1}$。
• 定理：任意方阵的逆矩阵若存在则唯一
• 伴随矩阵
  • n阶$(n⩾2)$方阵A的伴随矩阵$A^{\ast }$定义为：以$A_{ji}$为(i,j)元素的n阶方阵，其中$A_{ij}$是$A$的(i,j)元素$a_{ij}$的代数余子式
  • 对任意n阶$(n⩾2)$方阵A，根据拉普拉斯展开式，有$A{A}^{\ast }=A^{\ast }A=det(A)I$成立
• 伴随矩阵的性质（设$A,B\in F^{n\times n},n⩾2$）
  • $(kA{)}^{\ast }=k^{n-1}{A}^{\ast },k\in F$
  • $|A^{\ast }|=|A{|}^{n-1}$
  • $(A^{\ast }{)}^{\ast }=|A{|}^{n-2}A$
  • $(A^{\ast }{)}^T=(A^T{)}^{\ast }$
  • $(A^{\ast }{)}^H=(A^H{)}^{\ast }$
  • $(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
• 方阵可逆的充要条件
  • （行列式判定）n阶方阵$A=(a_{ij}{)}_{n\times n}$可逆的充要条件是$det(A)\ne 0$，A的逆矩阵为$$A^{-1}=\{\begin{array}{ll}\frac{A^{\ast }}{det(A)}& n⩾2\\ (a_{11}^{-1}{)}_{1\times 1}& n=1\end{array}$$
  • n阶方阵$A=(a_{ij}{)}_{n\times n}$可逆的充要条件是存在$B$使得$AB=I$
    证：
    必要性：若$A$可逆，显然取$B=A^{-1}$就有$AB=I$。
    充分性：若存在$B$使得$AB=I$，则由$det(AB)=det(A)det(B)=det(I)=1$知$det(A)\ne 0$（否则的话就有$det(AB)=0$与$det(AB)=1$矛盾），故由行列式判定知$A$可逆。（此时若用 A − 1 A^{-1}