矩阵的奇异值分解

注：本博文为本人阅读论文、文章后的原创笔记，未经授权不允许任何转载或商用行为，否则一经发现本人保留追责权利。有问题可留言联系，欢迎指摘批评，共同进步！！！

1. 前言

假设矩阵$\mathbf{A}$是一个$M\times N$大小的矩阵。对其进行奇异值分解后可以得到：
$${\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}$$
其中矩阵$\mathbf{\Sigma }$是准对角矩阵，其对角元素就是奇异值。矩阵$\mathbf{U}$和$\mathbf{V}$都是酉矩阵，一条重要的性质就是，其列向量都是两两正交的单位向量（模为1，对应相乘等于0）.

2. 数值计算

在计算时，首先我们考虑计算矩阵$\mathbf{V}$和准对角阵$\mathbf{\Sigma }:$

1. 首先计算${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$，因为已知矩阵$\mathbf{A}$大小为$M\times N$，因此${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$是大小为$N\times N$的方阵，可以进行特征分解，求得$N$个特征值${\lambda }_i(i=1,...,N)$和单位化的特征向量${\mathbf{\alpha }}_{\mathbf{i}}(i=1,...,N)$.
2. 因此，矩阵$\mathbf{V}$和准对角阵$\mathbf{\Sigma }$可以得到为：
   $$\begin{array}{rl}\mathbf{V}& =({\mathbf{\alpha }}_1{\mathbf{\alpha }}_2\cdots {\mathbf{\alpha }}_{\mathbf{N}})\\ \mathbf{\Sigma }& =\left(\begin{array}{cccc}\sqrt{{\lambda }_1}& 0& \cdots & 0\\ 0& \sqrt{{\lambda }_2}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \sqrt{{\lambda }_N}\end{array}\right)\end{array}$$

注意：矩阵$\mathbf{\Sigma }$不一定是方阵，但是也是只有主对角线上有值，其余填0即可；
另外，矩阵$\mathbf{\Sigma }$和矩阵$\mathbf{V}$中的元素一定要以特征值-特征向量对应书写，顺序不可错乱。

计算矩阵$\mathbf{U}$：

3. 计算$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$，因为已知矩阵$\mathbf{A}$大小为$M\times N$，因此$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$是大小为$M\times M$的方阵，可以进行特征分解，求得$M$个特征值${\gamma }_i(i=1,...,M)$和单位化的特征向量${\mathbf{\theta }}_{\mathbf{i}}(i=1,...,M)$. 由此，我们可以确定，矩阵$\mathbf{U}$是由$M$个单位特征向量组成的，但是向量的排列顺序还不确定，接下来就是要确定这件事；

$$\begin{array}{r}\because \mathbf{V}是正交矩阵\\ \therefore {\mathbf{V}}^{\mathbf{T}}={\mathbf{V}}^{-1}\\ \Rightarrow \mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{-1}\\ \Rightarrow \mathbf{AV}=\mathbf{U\Sigma }\end{array}$$

5. 计算出矩阵$\mathbf{AV}$，再由于矩阵$\mathbf{\Sigma }$只有主对角线上有元素，可以根据简单的除法，对应计算出矩阵$\mathbf{U}$中前几列对应的元素。由此可以确定特征向量在矩阵$\mathbf{U}$中的对应位置关系，然后写出矩阵$\mathbf{U}$.
6. $\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}}$(一定要记得矩阵$\mathbf{V}$最后还有个转置运算)

3. 奇异值分解的原理

在上述数值计算过程中有一个问题，就是为什么矩阵${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量就组成矩阵$\mathbf{V}$，特征值组成矩阵$\mathbf{\Sigma }$，而矩阵$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的特征向量组成矩阵$\mathbf{U}$呢？接下来就解释这个问题：

1. 为什么矩阵${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$的特征向量就组成矩阵$\mathbf{V}$，特征值开根号组成矩阵$\mathbf{\Sigma }$？
   $$\begin{gathered} \mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}} \\ {\mathbf{A}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{-1}(因为\mathbf{U}是正交阵) \\ \Rightarrow {\mathbf{A}}^{\mathbf{T}}\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{T}}{\mathbf{U}}^{-1}\mathbf{U\Sigma }{\mathbf{V}}^{\mathbf{T}}=\mathbf{V}{\mathbf{\Sigma }}^2{\mathbf{V}}^{-1} \\ \Rightarrow ({\mathbf{A}}^{\mathbf{T}}\mathbf{A})\mathbf{V}=\mathbf{V}{\mathbf{\Sigma }}^2 \end{gathered}$$
   由此可以看到，矩阵$\mathbf{V}$中包含的列向量实际上就是矩阵$({\mathbf{A}}^{\mathbf{T}}\mathbf{A})$的特征向量，而矩阵$\mathbf{\Sigma }$中的对角值，就是矩阵$({\mathbf{A}}^{\mathbf{T}}\mathbf{A})$的$\sqrt{特征值}$.

2. 为什么矩阵$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$的特征向量组成矩阵$\mathbf{U}$呢？
   显然，这个问题和上面同理。

4. 例题

5. 奇异值分解的几何含义

5.1 数据的线性变换——拉伸

例如，有一组数据$\mathbf{D}$，$\mathbf{D}$表示为如下的矩阵：
$$\mathbf{D}=\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$
有一矩阵$\mathbf{S}=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]$作用在该数据矩阵$\mathbf{D}$上，可以得到：
$$\mathbf{SD}=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]=\left[\begin{array}{cccc}2x_1& 2x_2& 2x_3& 2x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$

这是矩阵运算中一条重要的性质:矩阵$\mathbf{S}$是由$2\times 2$大小单位矩阵经由初等变化而来的，当数据矩阵$\mathbf{D}$左乘上一个单位矩阵的初等变换等于对$\mathbf{D}$进行对应的行变换。

• 矩阵$\mathbf{D}$左乘一个$\mathbf{S}$相当于将基底由默认的$\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$换为了$\left[\begin{array}{c}2\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$（即矩阵$\mathbf{S}$的列向量），所以数据进行了拉伸。

5.2 数据的线性变换——旋转

换作一矩阵$\mathbf{R}=\left[\begin{array}{cc}cos(\theta )& -sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]$ 作用与数据矩阵$\mathbf{D}$上($\mathbf{D}$左乘$\mathbf{R}$)，可得：
$$\mathbf{RD}=\left[\begin{array}{cc}cos(\theta )& -sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\end{array}\right]$$

• 同理，矩阵$\mathbf{D}$左乘一个$\mathbf{R}$相当于将基底由默认的$\left[\begin{array}{c}1\\ 0\end{array}\right]$和$\left[\begin{array}{c}0\\ 1\end{array}\right]$换为了$\left[\begin{array}{c}cos(\theta )\\ sin(\theta )\end{array}\right]$和$\left[\begin{array}{c}-sin(\theta )\\ cos(\theta )\end{array}\right]$（即矩阵$\mathbf{R}$的列向量），显然与原基底相比，作用后的基底逆时针旋转了$\theta$角度。相应地，数据点也是逆时针旋转$\theta$角度。

5.3 奇异值分解的几何意义

观察矩阵奇异值分解的形式：
$${\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}$$
由前面的介绍可以知道，矩阵$\mathbf{U}$和矩阵$\mathbf{V}$都是酉矩阵。而酉矩阵有如下性质：

若矩阵$\mathbf{A}$为酉矩阵，则

• 性质1：${\mathbf{A}}^{\mathbf{H}}\mathbf{A}=\mathbf{E}$ 且 $\mathbf{A}{\mathbf{A}}^{\mathbf{H}}=\mathbf{E}$，即表明酉矩阵行与行、列与列之间都是正交的，且各行、各列都是单位向量；
• 性质2：${\mathbf{A}}^{\mathbf{H}}={\mathbf{A}}^{-1}$且共轭转置矩阵和逆矩阵也都是酉矩阵

因此矩阵$\mathbf{U}$和矩阵${\mathbf{V}}^{\mathbf{T}}$的每一列都是单位向量，且列与列之间相互正交，可以代表旋转变换的基底；矩阵$\mathbf{\Sigma }$只有主对角线上有 元素，可以代表拉伸（或收缩）变换的基底。

实际上，单位正交矩阵就可以看做是一组旋转变换的基底；对角矩阵可以看做是拉伸变换的基底。

因此，但任意的矩阵$\mathbf{A}$作用于数据矩阵时，相当于将数据坐标点先进行旋转变换，再进行拉伸变换，最后再进行一次旋转变换。对于任意一个给定的变换$\mathbf{A}$，都可以拆解成一个旋转、伸缩、再旋转的变换。奇异值本身的数值，代表了单位超球体经变换后成为的超椭球体的每条半轴的长度。

6. 奇异值分解的应用价值

假设矩阵$\mathbf{A}$的奇异值分解为：
$$\begin{array}{rl}{\mathbf{A}}_{(\mathbf{m}\times \mathbf{n})}& ={\mathbf{U}}_{(\mathbf{m}\times \mathbf{m})}{\mathbf{\Sigma }}_{(\mathbf{m}\times \mathbf{n})}{\mathbf{V}}_{(\mathbf{n}\times \mathbf{n})}^{\mathbf{T}}\\ & =\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_{\mathbf{m}}\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1^{\frac{1}{2}}& & \\ & {\lambda }_2^{\frac{1}{2}}& \\ & & \cdots \end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_1^{\mathbf{T}}\\ {\mathbf{v}}_2^{\mathbf{T}}\\ ⋮\\ {\mathbf{v}}_{\mathbf{n}}^{\mathbf{T}}\end{array}\right]\end{array}$$
此处${\mathbf{u}}_{\mathbf{i}}$和${\mathbf{v}}_{\mathbf{i}}$均为列向量（秩一矩阵），$\mathbf{\Sigma }$矩阵中存储的奇异值${\lambda }_i^{\frac{1}{2}}$按照由大到小的顺序对角排列:${\lambda }_1>{\lambda }_2>\cdots >{\lambda }_{min(m\times n)}$。
如下图运算步骤所示，我们实际上可以将矩阵$\mathbf{A}$的奇异值分解再写为众多的秩一矩阵积的和的形式：

即，矩阵$\mathbf{A}={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathbf{T}}+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^{\mathbf{T}}+\cdots +{\sigma }_r{\mathbf{u}}_{\mathbf{r}}{\mathbf{v}}_{\mathbf{r}}^{\mathbf{T}}$(r表示矩阵$\mathbf{\Sigma }$的秩)。奇异值往往代表着矩阵中隐含信息的重要程度，奇异值越大，信息越重要。因此，可以根据奇异值分解来进行数据压缩。例如，矩阵$\mathbf{A}$代表一张高清图片，但是碍于存储大小的限制，需要对图片进行压缩，那么我们就可以对图像矩阵$\mathbf{A}$进行奇异值分解，然后仅保留分解后奇异值大的$k$（$k<<r$）个部分，构成一个新的图片矩阵${\mathbf{A}}^{\prime }$即：${\mathbf{A}}^{\prime }={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathbf{T}}+\cdots +{\sigma }_k{\mathbf{u}}_{\mathbf{k}}{\mathbf{v}}_{\mathbf{k}}^{\mathbf{T}}$。此时即完成了对图片的压缩。

有趣的性质：
由于矩阵$\mathbf{U}$和$\mathbf{V}$都是满秩的，所以原矩阵$\mathbf{A}$和对角阵$\mathbf{\Sigma }$的秩相同，因此，想要求原矩阵$\mathbf{A}$的秩，那么只要对A进行奇异值分解，然后数一数奇异值的个数就可以了。

7. 相关资料

1. 相关讲解视频：
   1. 矩阵的【奇异值分解】(SVD)，图像压缩
   2. 【学长小课堂】什么是奇异值分解SVD–SVD如何分解时空矩阵
2. 相关讲解内容专栏：
   知乎回答