矩阵论笔记（八）——矩阵分解

主要包括以下几种分解：

• LU 分解（三角分解）
• QR 分解（正交三角分解）
• 满秩分解
• SVD 分解（奇异值分解）

分别简介如下：

• LU 分解

  • 简介：把方阵分解为下三角矩阵与上三角矩阵的乘积 $A = LU$；
  • 条件：$A$ 的前 $1\sim n-1$ 阶顺序主子式非零，则存在唯一分解 $A = LDU$；
  • 算法：① Gauss 消元法，② Crout 分解，③ Doolittle 分解；
  • 推论：实对称正定矩阵有 Cholesky 分解 $A = GG^T$（$A = LDU = L\tilde{D}^2U$，由 $A^T = A$ 得 $L = U^T, U = L^T$）；
  • 唯一性：唯一。

• QR 分解

  • 简介：把方阵分解为酉矩阵与上三角矩阵的乘积 $A = QR$；
  • 条件：$A$ 为实/复非奇异矩阵；
  • 算法：① Schmidt 正交化；② Givens 变换；③ Householder 变换；
  • 唯一性：除去相差一个对角元素的绝对值（模）全为 1 的对角阵外，分解式唯一；
  • 推广：若 $A\in C^{m\times n}_n$ 的 $n$ 个列线性无关，则有分解 $A = QR$ 满足 $Q \in C^{m\times n}$, $Q^HQ = I$，$R$ 是 $n$ 阶非奇异上三角矩阵，且除去模 1 对角阵外，该分解式唯一。

• 满秩分解

  • 简介：把任意非零矩阵分解为列满秩矩阵与行满秩矩阵的乘积 $A = FG$；
  • 条件：任意非零矩阵 $A \in C_r^{m\times n}\ (r > 0)$；
  • 算法：① 初等行变换+初等阵求逆；② 初等行变换为 Hermite 标准形+列置换矩阵；
  • 唯一性：不唯一。

• SVD 分解

  • 简介：把任意非零矩阵分解为 $A = UDV$ 的形式，其中 $U,V$ 为 $m$ 阶和 $n$ 阶酉矩阵，$D = \begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}$，其中 $\Sigma = \text{diag}(\sigma_1,\cdots,\sigma_r)$，而 $\sigma_i$ 是 $A$ 的全部非零奇异值；
  • 条件：任意非零矩阵；
  • 算法：步骤 ① 对 $A^HA$ 求谱分解得 $V, \Sigma^2$，② $U_1 = AV_1\Sigma^{-1}$，③ 构造 $U_2$（解方程 $U_1 x = 0$）；
  • 唯一性：不唯一。

以下详细讲解。

1 LU 分解

求解线性方程组时，用初等行变换把系数化为上三角形式，这个过程可以用矩阵表示出来。

定理

（1）定理一：设 $A$ 是 $n$ 阶矩阵，当且仅当（充要条件）$A$ 的顺序主子式 $\Delta_k \neq 0,\ k=1,\cdots,n-1$ 时，$A$ 可唯一地被分解为 $A = LDU$，其中 $L, U$ 分别是单位下三角阵和单位上三角阵（对角元素为 1），$D = \text{diag}(d_1,\cdots,d_n)$，$d_k = \frac{\Delta_{k}}{\Delta_{k-1}}$；
（2）推论一：$n$ 阶非奇异矩阵 $A$ 有三角分解 $A = LU$ 的充要条件是其顺序主子式 $\Delta_k \neq 0,\ k=1,\cdots,n-1$；
（3）定理二：对任意非奇异矩阵 $A$，存在置换矩阵 $P$ 使 $PA$ 的 $n$ 个顺序主子式非零；
（4）推论二：对非奇异矩阵 $A$，存在置换矩阵 $P$ 使 $PA = L\hat{U} = LDU$（三角分解）。

算法

（1）初等变换法：$[A|I] \rightarrow^r [U|P]$, $[P|I] = [I|P^{-1}]$，并令 $L = P^{-1}$，注意初等变换时要保持 $P$ 为下三角阵。

（2）Gauss 消元法：
   ① 用倍加初等阵 $L_1^{-1}$ 左乘 $A$ 化其第一列为只有第一个元素非零；
   ② 用 $L_2^{-1}$ 左乘 $A^{(1)}$ 化其第二列为只有前两个元素非零；
   ③ 继续直至 $A$ 被化为上三角阵；
   ④ 令 $L = L_1\cdots L_{n-1}$，则 $A = LU$。

（3）Crout 分解：$A = (LD)U = \hat{L}U$，其中 $U$ 为单位上三角阵，则：
   ① 计算 $\hat{L}$ 第一列：$l_{i1} = a_{i1}$；
   ② 计算 $U$ 第一行：$u_{1j} = \frac{a_{1j}}{l_{11}}$；
   ③ 计算 $\hat{L}$ 第二列：$l_{ik} = a_{ik} - (l_{i1}u_{1k} + \cdots + l_{i,k-1}u_{k-1}k)$；
   ④ 计算 $U$ 第二行： ukj=1