线性代数部分定理的整理

在学习 《Pattern Recognition and Machine Learning》和 《Linear Algebra and Its Applicaition》过程中，对这两本书上出现的一些定理进行（不完整）整理。

符号约定

• $I$：与 $E$ 一样都代表单位矩阵，这两者在本文中可能会被交替使用
• $L$：下三角矩阵
• $U$：上三角矩阵
• $D$：对角阵
• $Q$：正交阵

对称矩阵的逆仍为对称矩阵（the inverse of a symmetric matrix is also symmetric）

首先，对称矩阵有 $A^T=A$，若该对称矩阵 $A$ 可逆，两边求逆可得：
$$(A^T{)}^{-1}=A^{-1}\text{\hspace{1em}(1)}$$
由对称矩阵 $A$ 可逆，即满足 $A{A}^{-1}=E$，两边转置得：
$$(A^{-1}{)}^T{A}^T=E$$
故有，$(A^{-1}{)}^T=(A^T{)}^{-1}$，即转置与求逆的先后顺序可以交替。带入到最开始的公式 $(1)$ 中即可得证（对称矩阵的逆仍为对称矩阵）：
$$(A^{-1}{)}^T=A^{-1}$$

矩阵的逆唯一

设 $AB=I$（$I$ 为单位矩阵），即矩阵 $B$ 与矩阵 $A$ 互为逆矩阵，并假设存在另一个矩阵 $C$ 也为 $A$ 的逆矩阵，由矩阵相乘运算满足结合律可得：
$$B(AC)=(BA)C⟶BI=IC⟶B=C$$
即得证：矩阵的逆（若存在）是唯一的。

矩阵的 LDU 分解唯一

先假设 $A=L_1{D}_1{U}_1=L_2{D}_2{U}_2$ 成立（即分解不唯一）。

注意，在这里，$L$ 是对角线元素均为 1 的下三角矩阵，$U$ 是对角线元素均为 1 的上三角矩阵，而 $D$ 是对角阵。$L$、$D$、$U$ 均可逆。

由假设 $L_1{D}_1{U}_1=L_2{D}_2{U}_2$ 左乘 $L_2^{-1}$，右乘 $U_1^{-1}{D}_1^{-1}$ 得：
$$L_2^{-1}{L}_1=D_2{U}_2{U}_1^{-1}{D}_1^{-1}\text{\hspace{1em}(2)}$$
由于：

• （上）下三角矩阵相乘得到矩阵仍为（上）下三角矩阵。设 $A$ 和 $B$ 均为下三角矩阵，对于 $AB$，我们可以把 $A$ 看作是在 $B$ 上进行多次初等行变换（不包括行交换）对应的矩阵，而初等行变换（不包括行交换）并不会改变下三角矩阵对角线以上的元素。所以，$AB$ 仍为下三角矩阵。而且，若 $A$ 对角线元素均为 1，则 $AB$ 对角线上的元素与 $B$ 一致。
• （上）下三角矩阵的逆矩阵（若存在）仍为（上）下三角矩阵。设 $A$ 与 $B$ 互为逆矩阵（即 $AB=E$），且 $B$ 为下三角矩阵，用上面那种思路，把 $A$ 看作将 $B$ 转换至单位矩阵所需的所有初等行变换对应的矩阵（将下三角矩阵转换成单位矩阵不需要进行行交换），可得 $A$ 仍为下三角矩阵。而且，若 $A$ 对角线元素均为 1，则 $B$ 对角线上的元素与 $B$ 一致，也均为 1。

所以，$L_2^{-1}{L}_1$ 为下三角矩阵，$D_2{U}_2{U}_1^{-1}{D}_1^{-1}$ 为上三角矩阵。这时，若要保证两者相等，两者都必须是对角阵，又因为 $L_2^{-1}{L}_1$ 对角线元素均为 1（与 $L_1$一致 ），所以，$L_2^{-1}{L}_1$ 是单位矩阵，故得：$L_2=L_1$.

然后，我们将 $D$ 与 $U$ 分别移至等号两端： $D_2^{-1}{D}_1=U_2{U}_1^{-1}$.

由于 $D_2^{-1}{D}_1$ 为对角阵，所以 $U_2{U}_1^{-1}$ 同样为对角阵，又因为 $U_2{U}_1^{-1}$ 的对角线元素均为 1（与 $U_1^{-1}$一致 ），可得 $D_2^{-1}{D}_1=U_2{U}_1^{-1}=E$. 即：
$$\begin{array}{rl}{D}_2& =D_1\\ U_2& =U_1\end{array}$$
综上可知假设不成立，即矩阵的 LDU 分解是唯一的。

$A^{T}Ax=0$ 与 $Ax=0$ 同解

也就是 $A^{T}A$ 与 $A$ 有着相同的零空间（null space）。如果 $Ax=0$，显然有 $A^{T}Ax=0$；而当 $A^{T}Ax=0$ 时，有 $x^T{A}^{T}Ax=0$，即 $\Vert Ax{\Vert }^2=0$，则有 $Ax=0$， 所以得证：$A^{T}Ax=0$ 与 $Ax=0$ 同解。

当矩阵 A 列满秩时，$A^{T}A$ 可逆

根据上面已证的 $A^{T}Ax=0$ 与 $Ax=0$ 同解，当 $A$ 的列满秩时（$Ax=0$ 只有零解），$A^{T}Ax=0$ 也只有零解，所以$A^{T}A$ 也是列满秩的，又由于 $A^{T}A$ 是对称的，所以它也是行满秩的，故此时 $A^{T}A$ 是可逆的。同理，当 $A$ 行满秩时，$A{A}^T$ 是可逆的。

$A^{T}A$ 的秩等于 $A$ 的秩

根据上面已证实的 $A^{T}Ax=0$ 与 $Ax=0$ 同解，可知 $A^{T}A$ 与 $A$ 有着相同的零空间，那么 $A^{T}A$ 的秩就必须等于 $A$ 的秩。又因为 $A{A}^T=(A^{T}A{)}^T$，所以 $A{A}^T$ 的秩与 $A^{T}A$ 一样，都等于 $A$ 的秩。

一个向量乘以一个正交矩阵后的长度与原先不变

假设有一个正交矩阵 $Q$（$Q^{T}Q=E$）和一个向量 $x$，则有：
$$\Vert Qx{\Vert }^2=(Qx{)}^T(Qx)=x^T{Q}^{T}Qx=x^{T}x=\Vert x{\Vert }^2$$
又 $\Vert Qx\Vert$ 和 $\Vert x\Vert$ 均大于等于 0，所以有 $\Vert Qx\Vert =\Vert x\Vert$，即 $Qx$ 的长度等于 $x$ 的长度。

参考源

• 《Pattern Recognition and Machine Learning》
• 《Linear Algebra and Its Applicaition》
• A=LU and Solving Systems
• LU 分解