特征值分解（Eigen Value Decomposition，EVD）、奇异值分解（Singular Value Decomposition，SVD）原理、公式推导及应用

最新推荐文章于 2022-03-19 20:15:02 发布

CA727

最新推荐文章于 2022-03-19 20:15:02 发布

阅读量1.1w

点赞数 29

分类专栏： # 算法基础文章标签：算法奇异值分解 SVD

本文链接：https://blog.csdn.net/cfan927/article/details/105699202

版权

算法基础专栏收录该内容

11 篇文章 26 订阅

订阅专栏

1 正交矩阵&正交变换

正交变换是保持图形形状和大小不变的几何变换，包含旋转、平移、轴对称及这些变换的复合形式，正交变换可以保持向量的长度和向量之间的角度不变。特别的，标准正交基经正交变换后仍为标准正交基。
在有限维的空间中，正交变换在标准正交基下的矩阵表示为正交矩阵，其所有行和所有列也都各自构成一组标准正交基。
同时，正交变换的逆变换也是正交变换，后者的矩阵表示是前者矩阵表示的逆。

2 特征值分解（Eigen Value Decomposition，EVD）

2.1 定义

【百度百科】特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

如果矩阵 $A$ 是一个 $\times m$ 的实对称矩阵（即 $A=A^T$ ），那么它可以被分解为如下形式：

$\Lambda Q^T=Q \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_m \end{bmatrix} Q^T \tag{2-1}$

其中 $Q$ 为标准正交阵，即有 $QQ^T=I$ ， $\Lambda$ 为 $\times m$ 的对角矩阵， $\lambda_i$ 称为特征值， $Q$ 为特征矩阵， $Q$ 中的列向量 $q_i$ 称为特征向量。

2.2 推导

假设存在 $\times m$ 的满秩对称矩阵 $A$ ，它有 $m$ 个不同的特征值 $\lambda_i(i=1,2,...,m)$ ，对应的特征向量为 $x_i(i=1,2,...,m)$ （ $x_i$ 为 $m$ 维列向量），则有：

$\begin{array}{cc} Ax_1=\lambda_1 x_1 \\ Ax_2=\lambda_2 x_2 \\ \cdots \\ Ax_m=\lambda_m x_m \end{array} \tag{2-2}$

令 $U=\begin{bmatrix} x_1 & x_2 & \cdots & x_m \end{bmatrix}$ ，则上式可以表示为矩阵形式：

$AU=U\Lambda \tag{2-3}$

$\Lambda= \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_m \end{bmatrix} \tag{2-4}$

进一步就可以得到A的特征值分解：

$A=U\Lambda U^{-1}=U\Lambda U^T \tag{2-5}$

3 奇异值分解（Singular Value Decomposition，SVD）

3.1 定义

【百度百科】奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。

如果 $A$ 是一个 $\times n$ 阶矩阵，则存在一个分解使得：

$\Sigma V^T$

其中 $U$ 和 $V$ 分别为 $\times m$ 和 $\times n$ 的酉矩阵/单位正交矩阵（即 $UU^T=U^TU=I，VV^T=V^TV=I$ ）。 $U$ 称为左奇异矩阵， $V$ 称为右奇异矩阵， $\Sigma$ 对角线上的元素 $\sigma_i$ 即为 $M$ 的奇异值。一般地 $\Sigma$ 有如下形式：

$\Sigma= \begin{bmatrix} \sigma_1 & 0 & \cdots & 0 \\ 0 & \sigma_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 \end{bmatrix}_{m \times n} \tag{3-1}$

3.2 推导

在矩阵的特征值分解中，矩阵 $A$ 的行列维度是相同的，但在实际应用中，矩阵往往是非方阵、非对称的（如点云配准问题等）。为了对这类矩阵进行分解，我们引入奇异值分解（SVD）。

假设矩阵 $A$ 的维度为 $\times n (m \not= n)$ ，虽 $A$ 不是方阵，但 $AA^T$ 和 $A^TA$ 均为方阵，其维度分别为 $\times m$ 和 $\times n$ 。因此可以对这两个方阵分别进行特征值分解：

$AA^T= P \Lambda_1 P^T \\ A^TA= Q \Lambda_2 Q^T \tag{3-2}$

其中 $\Lambda_1$ 和 $\Lambda_2$ 均为对角矩阵，且两个方阵具有相同的非零特征值 ${\sigma_1,\sigma_2,...,\sigma_k}$ ，其中 $\leq min(m,n)$ 。这样就可以进一步得到奇异值分解的公式：

$\Lambda Q^T \tag{3-3}$

接下来通过更直观的方式对SVD的原理和推导过程进行说明（参考：You Don’t Know SVD (Singular Value Decomposition)）。

首先从最简单的二维坐标说起，任何力矢量都可以沿 $x$ 和 $y$ 轴分解：
在这里插入图片描述
这其实就是最简单的SVD，SVD就是将向量分解到正交轴上（正交变换前的正交轴和正交变换后的正交轴）。

如下图，我们将向量 $a$ 进行分解：
在这里插入图片描述
可以得到3个信息：

投影方向（单位向量 $v_1$ 和 $v_2$ ）：表示沿着 $x$ 和 $y$ 轴的投影方向，这也可以为其它的正交轴；
投影长度（线段 $s_{a1}$ 和 $s_{a2}$ ）
投影向量（ $p_{a1}$ 和 $p_{a2}$ ）：通过投影向量可以反向计算出原始向量 $a$ ，同时我们可以发现 $p_{a1}=s_{a1}*v_1$ ， $p_{a2}=s_{a2}*v_2$