矩阵分解 - 奇异值分解 SVD

• 奇异值分解

  奇异值分解，Singular value decomposition（SVD）

  在推荐、图像等多个领域中，因为数据矩阵的庞大，所以经常需要对矩阵进行压缩；亦或有噪声，要进行去噪，奇异值分解就是解决方法中的一个。它将矩阵分解为三个矩阵相乘的形式，从而减小存储的大小；在截断奇异值分解中删掉奇异值，可以达到去噪的目的，而且它还可以得到一些数据中的隐语义，所以非常的通用。

  ---

  矩阵 $A_{m\ast n}$，通过奇异值分解得到：$U\Sigma V^T$，即 $A=U\Sigma V^T$

  其中，$U$ 为 m 阶正交矩阵，$V$ 为 n 阶正交矩阵，$\Sigma$ 为由降序排列的非负元素组成的 $m\ast n$ 的对角矩阵。

  $U{U}^T=I，V{V}^T=I，\Sigma =diag({\sigma }_1，{\sigma }_2，\dots ，{\sigma }_k)$

  ${\sigma }_i$ 为矩阵的奇异值，U为左奇异向量，V为右奇异向量。

  ---

  奇异值分解有一个特殊定理：奇异值分解一定存在，但不是唯一的。

  奇异值分解中，奇异值 ${\sigma }_1，{\sigma }_2，\dots ，{\sigma }_k$ 是唯一的，而矩阵 U，V 不是唯一的。

  奇异值分解可以看做是矩阵压缩的方法，用因子分解近似原始数据矩阵，它是在平方损失意义下的最优近似。

• 几何解释

  以几何对奇异值分解进行解释：

  奇异值分解可以理解为对于矩阵$A$，从 n 维空间 $R^n$ 到 m 维空间的一个线性变换

  $T:x\to Ax，x\in R^n，Ax\in R^m$

  而对这一线性变换可分解为三个简单变换（奇异值定理保证此三部分解一定存在）：

  ① 一个坐标系的旋转或反射变换；
  ② 一个坐标轴的缩放变换；
  ③ 另一个坐标系的旋转或反射变换。

• 紧奇异值分解（无损压缩）

  $rank(A)=r，r\le min(m,n)$，

  $A=U_r{\Sigma }_r{V}_r^T，U_{m\ast r}，V_{n\ast r}，{\Sigma }_r$ 由 $\Sigma$ 的前 r 个对角元素得到。

  当 $rank(\Sigma )=r$ 时，此分解称为紧奇异值分解。

  • 计算方法

    ① 首先计算 $A{A}^T$ 的特征值，并按降序进行排列得到 ${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n\ge 0$；

    ② 将特征值 ${\lambda }_i$ 代入特征方程计算对应的特征向量；

    ③ 将特征向量单位化，得到单位特征向量 $v_1，v_2，\dots ，v_n$，构成 n 阶正交矩阵 V；

    ④ 计算奇异值 ${\sigma }_i=\sqrt{{\lambda }_i}，i=1,2,\dots ,n$，将 ${\sigma }_i$ 作为对角元素构成对角矩阵 $\Sigma =diag({\sigma }_1，{\sigma }_2，\dots ，{\sigma }_k)$

    ⑤ 对 A 的前 r 个正奇异值计算，$u_j=\frac{1}{{\sigma }_j}A{v}_j，j=1,2,\dots ,r$，得到 $U_1=[u_1{u}_2\dots u_r]$；

    ⑥ 求 A^T的零空间的一组标准正交基 {$u_{r+1}，u_{r+2}，\dots ，u_m$}，即求解 $A^{T}x=0$，$U_2=[u_{r+1}{u}_{r+2}\dots u_m]$

    ⑦ 令 $U=[U_1{U}_2]$，得到 m 阶正交矩阵 U；

    ⑧ 最终得到 $A=U\Sigma V^T$

• 截断奇异值分解（有损压缩）

  截断奇异值分解，顾名思义是选取了部分进行分解。即只取最大的 k 个奇异值组成 ${\Sigma }_k，k<r$

  当 $rank(\Sigma )<r$ 时，此分解称为截断奇异值分解。

  $A\approx U_k{\Sigma }_k{V}_k^T，0<k<r$

  $U_{m\ast k}，U$ 的前 k 列；$V_{n\ast k}，V$ 的前 k 列；${\Sigma }_k$ 由 $\Sigma$ 前 k 个奇异值组成。

  由于通常奇异值 ${\sigma }_i$ 递减很快，所以当 k 很小时，$A_k$ 也可以对 A 有很好的近似。所以截断奇异值分解更加常用。

  • 计算方法（矩阵的外积展开式）

    将 A 的奇异值分解看成两部分：$U\Sigma$ 和 $V^T$ 乘积，将 $U\Sigma$ 按列向量分块，将 $V$ 也按列向量分块，得

    $U\Sigma =[{\sigma }_1{u}_1{\sigma }_2{u}_2\dots {\sigma }_n{u}_n]$

    $V=[v_1{v}_2\dots v_n]$

    则 $A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\dots +{\sigma }_n{u}_n{v}_n^T$，此式称为外积展开式。

    根据紧奇异值分解的计算方法易得 ${\sigma }_i、u_i$。其中 $i=(1\to n)$ 按照降序排列。

    所以在选择（截断）前 k 个奇异值时，只需计算外积展开式的前 k 项和即可。

• 实际意义

  可以参考：

  • 奇异值的物理意义是什么
  • 奇异值分解及其应用
  • SVD在推荐系统中的应用