示例代码-奇异值分解与特征值分解之间关系

 

奇异值分解与特征值分解之间存在密切的关系

 

前言

\quad 特征值分解仅仅针对方针而言，奇异值分解可对任意一个 $m\times n$ 的矩阵。
 

奇异值分解

\quad 对于任意一个实数矩阵 $X\in {\mathbb{R}}^{m\times n}$，其奇异值分解(Singular Value Decomposition,简称SVD)形式可以写为：

$$X=U\Sigma V^T$$

其中，$U=[u_1,u_2,...,u_m]\in {\mathbb{R}}^{m\times m}$ 与 $V=[v_1,v_2,...,v_n]\in {\mathbb{R}}^{n\times n}$ 是正交化矩阵，$\Sigma \in {\mathbb{R}}^{m\times n}$ 是奇异值矩阵，其非对角线的元素全为 0。对于奇异值 ${\delta }_i⩾0$ 以及所对应的左、右奇异向量 $u_i\in {\mathbb{R}}^m$ 和 $v_i\in {\mathbb{R}}^n$(均为单位向量)，同时满足以下关系：
$$X{v}_i={\delta }_i{u}_i\&\&X^T{u}_i={\delta }_i{v}_i$$

 

与特征值分解之间的关系

\quad 首先，我们看矩阵的左奇异向量，用矩阵$X$ 乘以它的转置 $X^T$：
$$X{X}^T=(U\Sigma V^T)(U\Sigma V^T{)}^T=U\Sigma {\Sigma }^T{U}^T$$

 
由上式，我们可知道:
1. 矩阵 $X$ 的左奇异向量为 $X{X}^T$ 的特征向量。
2. 矩阵 $X$ 的非零奇异值（$\Sigma$中对角线上的非零项）是$X{X}^T$特征值的平方根。
 
\quad 同理，我们若用矩阵$X^T$乘以$X$，我们可得到：
1. 矩阵 $X$ 的右奇异向量为 $X^{T}X$ 的特征向量。
2. 矩阵 $X$ 的非零奇异值是 $X^{T}X$ 的特征值的平方根。且 $X{X}^T$ 及 $X^{T}X$ 的特征值是完全一样的。

\quad 特别地，对于一个对称半正定方阵 $P$，它的奇异值与特征值相等，同时左右奇异向量与特诊向量也是相等的。

 

SVD实现示例代码：https://github.com/Kai-Xuan/MySVD/ [link]
 

相关应用可以参考：[1].

 
参考:

---

1. Chen K X, Wu X J, Wang R, et al. Riemannian kernel based Nyström method for approximate infinite-dimensional covariance descriptors with application to image set classification[C]//2018 24th International conference on pattern recognition (ICPR). IEEE, 2018: 651-656. [link]