奇异值分解SVD

1 基本定义

奇异值分解（singular value decomposition SVD）是一种矩阵因子分解的方法，是线性代数的概念。在统计学中被广泛的使用，成为一种重要的统计方法。在研究过程中可以用来实现缺失值的插补 MVI，也是一种较为常用的缺失值插补方法。[Miss value imuptation(MVI):a review and analysis of the literature(2006-2017)](https://www.yuque.com/strive-yang/gn28pq/zwn3z1r7qw0na52u)
任意一个$ m \times n $矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别为 $m$阶正交矩阵、由降序排列的非负的对角元素组成的$m \times n$矩阵对角矩阵和$n$阶正交矩阵可以试着计算，以上便称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但分解不唯一。

In my opinion，奇异值分解就是将矩阵进行分解的过程，可以对复杂的矩阵进行压缩，是一种数据压缩方法（通常与 PCA、LDA 等方法一同提及）。

2 奇异值分解定理

矩阵的奇异值是指，将一个非零的$m \times n$实矩阵 $A,A\in R^{m\times n}$，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解：

$A=U\Sigma V^T$
其中$U$是$m$阶正交矩阵（orthogonal matrix），$V$是$n$阶正交矩阵，$\Sigma$是由降序排列的非负的对角元素组成的$m\times n$矩阵对角矩阵。
由正交矩阵和对角矩阵的性质可以得出以下公式来源于线性代数
$$\begin{gathered} U{U}^T=I \\ V{V}^T=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_p\ge 0 \\ p=min(m,n) \end{gathered}$$
$U\Sigma V^T$ 称为矩阵$A$的奇异值分解（singular value decomposition SVD，${\sigma }_i$称为矩阵$A$的奇异值（singular value），$U$的列向量称为左奇异值，$V$的列向量称为右奇异值。

奇异值分解不要求矩阵$A$为方阵，奇异值分解可以看作是矩阵的对角化推广。
由于 $A$可能不是方阵，因此对角矩阵上元素的个数$p=min(m,n)$。

举个例子。
给定一个 $5\times 4$的矩阵 $A$

$A=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 0& 4\\ 0& 3& 0& 0\\ 0& 0& 0& 0\\ 2& 0& 0& 0\end{array}\right]$
该矩阵的奇异值分解由三个矩阵的乘积$U\Sigma V^T$给出，矩阵$U，\Sigma ，V$分别为
$U=\left[\begin{array}{ccccc}0& 0& \sqrt{0.2}& 0& \sqrt{0.8}\\ 1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& \sqrt{0.8}& 0& -\sqrt{0.2}\end{array}\right],\Sigma =\left[\begin{array}{cccc}4& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& \sqrt{5}& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right],V^T=\left[\begin{array}{cccc}0& 0& 0& 1\\ 0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right]$
矩阵$\Sigma$是对角矩阵，对角线之外的元素都为零，对角线上的元素降序排列且大于等于 0。矩阵$U、V$为 5 阶和 4 阶 正交矩阵。可以计算验真分解结果

矩阵的奇异值分解不是唯一的，因此 U 矩阵可以取别的值。

3 奇异值分解的计算

奇异值分解基本定理的证明过程基本包含了奇异值分解的计算方法。矩阵$A$的奇异值分解可以通过求解对称矩阵$A^TA$的特征值和特征向量得到。其中得出的特征向量构成正交矩阵$V$的列，特征值$\lambda_j$的平方根为$\sigma_j$，即

${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,...,n$
对${\sigma }_j$降序排列作为对角线元素，构成对角矩阵$\Sigma$；求正奇异值对应的左奇异向量，再求扩充的$A^T$的标准正交基，构成正交向量$U$的列。
具体$m\times n$矩阵$A$奇异值分解的计算过程如下：
（1）首先求解对称矩阵$A^{T}A$的特征值和特征向量。
计算对称矩阵$W=A^{T}A$。
求解特征方程 $|W-\lambda I|=0$，得到特征值，将特征值降序排列${\lambda }_1\ge {\lambda }_2\ge ...\ge \lambda n\ge 0$，将特征值带入特征方程计算对应的特征向量。
（2）求 n 阶正交矩阵 V。
将特征向量单位化，得到单位特征向量$v_1,v_2,...,v_n$，构成 n 阶正交矩阵 $V$：
$V=[v_1{v}_2...v_n]$
（3）求$m\times n$对角矩阵$\Sigma$。
计算矩阵$A$的奇异值
${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,...,n$
构成$m\times n$矩形对角矩阵$\Sigma$，主对角元素就是奇异值，其他元素是 0。
$\Sigma=diag(\sigma_1,\sigma_2,…,\sigma_p)\$
（4）求$m$正交矩阵$U$。
求 $A$的前$r$个正奇异值，令
$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,..,r$
得到$U1=[u_1{u}_2...u_r]$。
求$A^T$的零空间的一组标准正交基 { u r + 1 , u r + 2 , . . , u m } \{{u_{r+1},u_{r+2},..,u_{m}}\} {ur+1​,ur+2​,..,um​}，令 $U_2=[u_{r+1}{u}_{r+2}...u_m]$，合并$U_1,U_2$为
$U=[U_1{U}_2]$
（5）得到奇异值分解
$A=U\Sigma V^T$

小总结：

• 奇异值分解的过程与证明过程一致。（证明过程大多为数学公式，看的迷糊）
• 奇异值分解分解的关键就是构造对称矩阵，之后可以很轻松的通过求行列知得到$V、\Sigma$。
• 之后再根据步骤（4）计算正奇异值和$A^T$的零空间的一组标准正交基。

一个简单的例题 ！

4 Python 实现 SVD

未完待续！！

参考文献

• [1] 李航. 统计学习方法[M]. 2019年5月 第二版. 清华大学出版社, 2020.