6.11 奇异值分解

定义

  拖了很久没写这篇奇异值分解文章，今天把它给写了。因为奇异值分解太重要了。任意矩阵都有奇异值分解，它是将矩阵分解为三部分相乘：
$$A_{m\times n}=U_{m\times m}{\left(\begin{array}{cc}{\Sigma }_{r\times r}& 0\\ 0& 0\end{array}\right)}_{m\times n}{V}_{n\times n}^H$$
  其中$U$是m阶酉矩阵，$V$是n阶酉矩阵，$\Sigma$是所有奇异值从大到小排列组成的对角阵。从这个定义来看，奇异值分解是非常难的。但是前人已经总结出了一套算法了。奇异值分解为什么这么重要？因为这个分解提供了太多信息了。

1. $V$的前$r$个向量组成了矩阵行空间的一组正交基；
2. $V$的后几个向量组成了矩阵零空间的一组正交基。
3. $U$的前$r$($r$是矩阵的秩)个列向量组成了矩阵列空间的一组正交基；
4. $U$的后几个向量组成了矩阵左零空间($Null(A^H)$)的一组正交基。
5. $V$的前$r$列由$A^{H}A$的单位正交特征向量组成；
6. $U$的前$r$列由$A{A}^H$的单位正交特征向量组成；

  这么难吗？哈哈。其实，步骤主要分以下几步：

1. 求$A{A}^H$矩阵和$A^{H}A$矩阵；
2. 求$A{A}^H$的所有非零特征值，开根号得到奇异值，再排序得到$\Sigma$；
3. 求$A{A}^H$的所有非零特征值的单位正交特征向量组成$U$的前$r$列；
4. 求$A^H$的零空间所有单位正交向量组成$U$的后$m-r$列；
5. 求$A{A}^H$的所有单位正交特征向量组成$V$的前$r$列；
6. 求$A$的零空间所有单位正交向量组成$V$的后$n-r$列；
7. 返回$U,V,\Sigma$

举例

  求这个矩阵的奇异值分解：
$$\left(\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\\ 0& 0& 0& 0\end{array}\right)$$
 一步一步来，首先求$A{A}^H$矩阵和$A^{H}A$矩阵：
$$\begin{gathered} A{A}^H=\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 9\end{array}\right) \\ {A}^{H}A=\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 9\end{array}\right) \end{gathered}$$
  再求 求$A{A}^H$的所有非零特征值,得到三个奇异值：
$$3,2,1$$
  再求$A{A}^H$非零特征值的的特征空间：
s p a n { ( 0 0 1 0 ) , ( 0 1 0 0 ) , ( 1 0 0 0 ) } span\{ \begin{pmatrix}0\\ 0\\ 1\\ 0\\ \end{pmatrix},\begin{pmatrix}0\\ 1\\ 0\\ 0\\ \end{pmatrix}, \begin{pmatrix}1\\ 0\\ 0\\ 0\\ \end{pmatrix} \} span{ ​0010​ ​, ​0100​ ​, ​1000​ ​}
  求$A^H$的零空间为：
s p a n { ( 0 0 0 1 ) } span\{\begin{pmatrix}0\\ 0\\ 0\\ 1\\ \end{pmatrix}\} span{ ​0001​ ​}
  所以$U$为：
$$\left(\begin{array}{cccc}0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right)$$
  为了节省篇幅，求$V$的顺序我就不细说了，最后求得$V$为：
$$\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 1\end{array}\right)$$
  所以最后的奇异值分解为：
$$\left(\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\\ 0& 0& 0& 0\end{array}\right)=\left(\begin{array}{cccc}0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}3& 0& 0& 0\\ 0& 2& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 0\end{array}\right)\left(\begin{array}{cccc}0& 0& 0& 1\\ 0& 0& 1& 0\\ 0& 1& 0& 0\\ 1& 0& 0& 0\end{array}\right)$$

Python实现

  我没有用numpy等包，直接把以前自己写的求齐次方程组的解、QR分解等代码利用起来，代码如下：

    # 奇异值分解
    def svd(self):
        m = len(self.__vectors[0])
        n = len(self.__vectors)
        # 先计算两个矩阵
        ah = self.hermitian_transpose()
        a_ah = self * ah
        ah_a = ah * self

        # 求奇异值
        from com.youngthing.mathalgorithm.linearalgebra.hessenberg import Matrix as M
        eigen_values = M(ah_a.__vectors).eigen_values()
        eigen_values.sort(reverse=True)
        sigma = Matrix([[0 for _ in range(m)] for _ in range(n)])
        for i, e in enumerate(eigen_values):
            sigma.__vectors[i][i] = math.sqrt(e)

        # 求aah的所有单位正交特征向量
        u = []
        for i, e in enumerate(eigen_values):
            if matrix_utils.is_zero(e):
                continue
            eigen_vectors = a_ah.eigen_vector(e)
            q, _ = Matrix(eigen_vectors).qr_equations()
            u += q.__vectors
        # 求ah的零空间
        vectors = ah.homogeneous_solution()
        q, _ = Matrix(vectors).qr_equations()
        u += q.__vectors

        # 求aha的所有单位正交特征向量
        v = []
        for i, e in enumerate(eigen_values):
            if matrix_utils.is_zero(e):
                continue
            eigen_vectors = ah_a.eigen_vector(e)
            q, _ = Matrix(eigen_vectors).qr_equations()
            v += q.__vectors
        # 求a的零空间
        vectors = self.homogeneous_solution()
        q, _ = Matrix(vectors).qr_equations()
        v += q.__vectors

        return Matrix(u),sigma,Matrix(v)