奇异值分解SVD

奇异值是什么？

1 奇异值的定义

对于任意一个 $m\times n$ 的矩阵 $A$，存在三个矩阵$U$，$V$和$\Sigma$使得：
$$A=U\Sigma V^T$$
其中：

• $U\in R^{m\times m}$ 称为左奇异矩阵
• $V\in R^{n\times n}$ 称为右奇异矩阵
• $\Sigma \in R^{m\times n}$ 是对角矩阵，对角线的元素是非负实数，按降序排列，这些值称为奇异值。

$U$ 和 $V$ 均为单位正交阵（即 $U{U}^T=I$ 和 $V{V}^T=I$ ）。

2 奇异值的性质

1、非负性：奇异值始终为非负数，即对角矩阵$\Sigma$的对角元素均为非负。
2、奇异值的数量：对于一个$m\times n$ 的矩阵 $A$，最多有 $min(m,n)$个奇异值。
3、矩阵的秩：矩阵 $A$ 的秩等于其非零奇异值的数量。
4、不变性：奇异值是矩阵的固有属性，与矩阵的旋转或变换无关。

3 特征值与奇异值的关系

奇异值与特征值都描述了一个矩阵的一些特征。

矩阵乘法的几何意义
矩阵乘法对应一个变换，是把任意一个向量变成另一个方向或长度的新向量，在这个过程中，原向量主要发生旋转、伸缩的变化。

• 特征值：如果存在向量 $v$，使得 $Av=\lambda v$，则 $\lambda$ 是矩阵 $A$ 的特征值，$v$ 是对应的特征向量。
  • 特征值分解：$A=Q\Sigma Q^{-1}$
    • $Q$是矩阵A的特征向量组成的矩阵，$\Sigma$为对角阵，每一个对角线元素就是一个特征值。
  • 特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。
• 局限：矩阵A必须是方阵。

特征值与特征向量的几何意义
如果矩阵对某些向量只发生伸缩变换，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。
例如：M = $\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]$，对应的线性变换是如下形式，因为M乘以一个向量$(x,y)$的结果是$\left[\begin{array}{cc}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}3x\\ y\end{array}\right]$.

• 奇异值：如果存在单位正交矩阵 $U$ 和 $V$，使得$A=U\Sigma V^T$，其中$\Sigma$为对角矩阵，对角线上的值被称为奇异值，$U$ 和 $V$ 分别被称为左奇异矩阵和右奇异矩阵。
  • 可以描述普通矩阵(不一定是方阵)的重要特征。
  • 与特征值的对应关系：
    • $(A^{T}A)v_i={\lambda }_i{v}_i$ ，这里V就是右奇异向量。
    • ${\sigma }_i=\sqrt{{\lambda }_i}$
    • $u_i=\frac{1}{{\sigma }_i}A{v}_i$ ，这里U就是左奇异向量。
• 奇异值跟特征值类似，但其减少的特别快，很多情况下，前10%甚至前1%的奇异值的和就占了全部的奇异值之和的99%以上了。

形象理解
对于矩阵$A=\left[\begin{array}{cc}1& \frac{1}{3}\\ \frac{1}{3}& 1\end{array}\right]$，单位圆被变换为椭圆，特征向量是所有向量中经过变换(A)后，方向不变的向量。

但是，特征向量不变的方向并不能保证是拉伸效果最大的方向，而这是奇异值向量的方向。单位圆变换为椭圆，奇异向量对应椭圆的半长轴，不同于特征值方向。

也就是说，

• 特征向量描述的是矩阵的方向不变作用的向量
• 奇异向量描述的是矩阵最大作用的方向向量

4 奇异值的重要性

奇异值的重要性在于，它们描述了矩阵 $A$在不同方向上能够拉伸(或压缩)空间的能力。

• 最大的奇异值对应着矩阵在最重要的方向上的最大拉伸效果，通常与矩阵的主要信息或能量相关联。
• 较小的奇异值可能表示噪声或数据中的微弱模式。
• 奇异值为零意味着在相应的方向上矩阵的作用是完全压缩的，这与矩阵的秩有关，矩阵的秩等于非零奇异值的数量。

---

奇异值分解

奇异值分解有广泛的应用，通过保留较大的奇异值而忽略较小的奇异值，可以在减少数据维度的同时尽量保持数据的主要结构，达到数据降维和去噪的目的。

对于$A=U\Sigma V^T$，可以理解为：

• $V^T$：旋转（正交矩阵）
• $\Sigma$：缩放或拉伸（对角矩阵）
• $U$：旋转（正交矩阵）

也就是说，任何矩阵变换总可以看成旋转+缩放或拉伸+旋转的过程。那么对于拉伸效果最大的判断，就取决于$\Sigma$矩阵中最大的奇异值。

关于具体的SVD证明及求法，可参考奇异值分解（SVD）的定义、证明、求法.