矩阵的分解：满秩分解和奇异值分解

本文主要介绍矩阵的两种经典的分解算法：满秩分解和奇异值分解。这两块内容非常基础，同时却又非常重要，在机器学习，模式识别，人工智能等领域有着非常广泛的应用。

满秩分解

定义与性质

定义1 满秩分解：对于$m \times n$的矩阵$A$，假设其秩为$r$，若存在秩同样为$r$两个矩阵：$F_{m \times r}$（列满秩）和$G_{r \times n}$（行满秩），使得$A = FG$，则称其为矩阵$A$的满秩分解。

定理1：满秩分解有两个性质，

• 满秩分解不唯一：假设存在$r$阶可逆方阵$D$，则$A = FG = F(DD^{-1})G = (FD)(D^{-1}G) = F'G'$；
  • 任何非零矩阵一定存在满秩分解。证明如下；

  • 假设存在初等变换矩阵$B_{m \times m}$，使得

    $$\begin{equation} BA = \left( \begin{array}{c} G\\ O \end{array} \right) \end{equation}$$

    其中$G$是个$m \times r$的行满秩矩阵。由上面的公式，可以推出，

    $$\begin{equation} \begin{aligned} A &= B^{-1}\left( \begin{array}{c} G\\ O \end{array} \right)\\ &= (F|S) \left( \begin{array}{c} G\\ O \end{array} \right)\\ &= FG \end{aligned} \end{equation}$$

    公式第二行中，我们将$B^{-1}$分块为$(F|S)$，其中$F$为$m \times r$矩阵（秩为$r$），$G$为$r \times n$矩阵（秩为$r$）。

    满秩分解的计算

    如果能理解上面的证明过程，那么计算满秩分解就很容易了，因为方法与证明思路是一致的。

    举个例子来说明，现在要计算下面矩阵$A$的满秩分解：

    $$\begin{equation} A = \left( \begin{array}{cccc} -1 & 0 & 1 & 2 \\ 1 & 2 & -1 & 1 \\ 2 & 2 & -2 & -1 \\ \end{array} \right) \end{equation}$$

    首先，对$A$进行初等变换，得到行满秩矩阵$G$和初等矩阵$B$.

    $$\begin{equation} A = \left( \begin{array}{cccc|ccc} -1 & 0 & 1 & 2 & 1 & 0 & 0 \\ 1 & 2 & -1 & 1 & 0 & 1 & 0 \\ 2 & 2 & -2 & -1 & 0 & 0 & 1 \\ \end{array} \right)\rightarrow \left( \begin{array}{cccc|ccc} -1 & 0 & 1 & 2 & 1 & 0 & 0 \\ 0 & 2 & 0 & 3 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 & -1 & 1 \\ \end{array} \right) \end{equation}$$

    可见，

    $$\begin{equation} B = \left( \begin{array}{ccc} 1 & 0 & 0 \\ 1 & 1 & 0 \\ 1 & -1 & 1 \\ \end{array} \right), G = \left( \begin{array}{cccc} -1 & 0 & 1 & 2 \\ 0 & 2 & 0 & 3 \\ \end{array} \right) \end{equation}$$

    接着，可以算出

    $$\begin{equation} B^{-1} = \left( \begin{array}{ccc} 1 & 0 & 0 \\ -1 & 1 & 0 \\ -2 & 1 & 1 \\ \end{array} \right) = (F|S) \end{equation}$$

    因为$r = 2$，所以可以得到

    $$\begin{equation} F = \left( \begin{array}{ccc} 1 & 0 \\ -1 & 1 \\ -2 & 1 \\ \end{array} \right) \end{equation}$$

    因此

    $$\begin{equation} A = FG = \left( \begin{array}{ccc} 1 & 0 \\ -1 & 1 \\ -2 & 1 \\ \end{array} \right) \cdot \left( \begin{array}{cccc} -1 & 0 & 1 & 2 \\ 0 & 2 & 0 & 3 \\ \end{array} \right) \end{equation}$$

    另一种计算满秩分解的方法是用矩阵$A$的Hermite标准型。具体做法如下。

    Hermite标准型

    先给出Hermite标准型的定义。

    定义2 Hermite标准型：对于$m \times n$的矩阵$H$，假设其秩为$r$，若$H$满足以下3个条件，则称之为Hermite标准型。

    • $H$的前$r$行中，每行都至少含一个非零元素，且每行的第一个非零元是1，而后$m - r$行都是零元；

    • 假设第$i$行的第一个非零元（就是1）在第$j_i$列，则$j_1 < j_2 < \dots < j_r$；
    • $H$的$j_1, j_2, \dots, j_r$列是单位矩阵$E_m$的前$r$行（这个条件实际上覆盖了前2个条件）；

    由定义可以看出Hermite标准型就是将秩为$r$的$m \times n$矩阵经初等变换而成的阶梯型矩阵。所以也叫做Hermite最简型。

    算出Hermite标准型后，对于矩阵的满秩分解$A = FG$来说，矩阵$F$就是矩阵