奇异值分解SVD

奇异值分解（SVD）

目录

一、基本原理

1. 特征值分解
2. 奇异值分解

二、实例

---

一、基本原理

1. 特征值分解

特征值与特征向量的定义如下：
$$Ax=\lambda x\text{\hspace{1em}(1)}$$
其中，$A_{n\times n}$是$n\times n$方阵，$x_{n\times 1}$是A的某一方向上的$n\times 1$特征向量，$\lambda$是该特征向量对应的特征值。

将A方阵的特征值${\lambda }_i$沿对角线组合成为对角矩阵${\Sigma }_{m\times m}$，特征向量$x_i$合并成为$X_{n\times m}$，将定义整体向量化后有：
$$A=X\Sigma X^{-1}\text{\hspace{1em}(2)}$$
该式即为$A$的特征值分解。其中，${\Sigma }_{m\times m}=\left[\begin{array}{ccccc}{\lambda }_1& & & & \\ & {\lambda }_2& & & \\ & & {\lambda }_3& & \\ & & & \ddots & \\ & & & & {\lambda }_m\end{array}\right]$，$X_{n\times m}=\left[\begin{array}{ccccc}{x}_1^{(1)}& x_2^{(1)}& x_3^{(1)}& \cdots & x_m^{(1)}\\ x_1^{(2)}& x_2^{(2)}& x_3^{(2)}& \cdots & x_m^{(2)}\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ x_1^{(n)}& x_2^{(n)}& x_3^{(n)}& \cdots & x_m^{(n)}\end{array}\right]$.

因为矩阵求逆的运算计算机求解很慢，所以将特征向量$x_i$标准化，即令${\Vert \begin{array}{c}{x}_i\end{array}\Vert }_2=1\leftrightarrow x_i^T{x}_i=1$，此时$X$的$m$个特征向量为标准正交基，故$X$满足$X^{T}X=I\to X^{-1}=X^T$，$X$为酋矩阵（正交矩阵）。原特征分解式(2)转换为如下形式：
$$A=X\Sigma X^T\text{\hspace{1em}(3)}$$

2.奇异值分解

特征值分解要求A必须为方阵，为了推广到一般情况，通常采用奇异值分解，定义如下：
$$A=U\Sigma V^T\text{\hspace{1em}(4)}$$
其中，$A_{m\times n}$是$m\times n$矩阵，$U_{m\times m}$为左奇异矩阵，${\Sigma }_{m\times n}$为奇异值矩阵，$V_{n\times n}$为右奇异矩阵。$U_{m\times m}$和$V_{n\times n}$均为酋矩阵（即已经经过标准化），${\Sigma }_{m\times n}$主对角线上奇异值从大到小排列，其余元素均为0。

奇异值分解与特征值分解密切相关，推导二者关系的过程如下：

假设有$m\times n$矩阵$A_{m\times n}$，已知$A=U\Sigma V^T$，为满足特征值分解方阵条件，使用$A{A}^T$和$A^{T}A$有：
$$\begin{gathered} A^T=(U\Sigma V^T{)}^T={(V^T)}^T{\Sigma }^T{U}^T=V{\Sigma }^T{U}^T \\ \to \{\begin{array}{l}A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T\\ A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T\end{array} \\ \because U_{m\times m}和V_{n\times n}均为酋矩阵 \\ \therefore U^T=U^{-1},V^T=V^{-1} \\ \because {\Sigma }_{m\times n}除主对角线，其余元素均为0 \\ \therefore \Sigma {\Sigma }^T={({\Sigma }_{m\times m})}^2;{\Sigma }^T\Sigma ={({\Sigma }_{n\times n})}^2 \\ 代入上式即有:\{\begin{array}{l}A{A}^T=U{({\Sigma }_{m\times m})}^2{U}^T\\ A^{T}A=V{({\Sigma }_{n\times n})}^2{V}^T\end{array} \end{gathered}$$

注意：上述${\Sigma }_{m\times m}$和${\Sigma }_{n\times n}$表示原${\Sigma }_{m\times n}$经过$\Sigma {\Sigma }^T$和${\Sigma }^T\Sigma$后还原而来，以此体现出奇异值${\sigma }_i$与特征值${\lambda }_i$的关系：
$${\sigma }_i=\sqrt{{\lambda }_i}$$

分别将上述$(A{A}^T)$和$(A^{T}A)$的结果与特征值分解$B=X\Sigma X^T$对比发现：

• $A{A}^T$的特征向量就是$A_{m\times n}$的左奇异矩阵$U$

• $A^{T}A$的特征向量就是$A_{m\times n}$的右奇异矩阵$V$

• $A{A}^T(A^{T}A)$的特征值就是$A_{m\times n}$的奇异值的平方

---

二、实例

问：假设我们有特征矩阵$m\times n$的矩阵$A_{2\times 2}$，求A的左奇异矩阵$U$、奇异值矩阵$\Sigma$、右奇异矩阵$V$。
$$A={\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]}_{2\times 2}$$

通过求解$A{A}^T$ 和$A^{T}A$ 特征值分解后的特征值与特征向量，进而求解左右奇异矩阵和奇异值矩阵，以求解$A^{T}A$的特征值分解为例：

解：

$$A^{T}A=\left[\begin{array}{cc}3& 4\\ 0& 5\end{array}\right]\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]=\left[\begin{array}{cc}25& 20\\ 20& 25\end{array}\right]$$
$\because$ 特征值分解满足:$B{x}_i={\lambda }_i{x}_i$ ($x_i$为特征向量，${\lambda }_i$为对应特征值)
$\therefore$ $(B-{\lambda }_{i}I)x_i=0$, $det(B-{\lambda }_{i}I)=0$的解即为特征值.
$$\left|\begin{array}{c}{A}^{T}A-\lambda I\end{array}\right|=\left|\begin{array}{cc}25-\lambda & 20\\ 20& 25-\lambda \end{array}\right|=(25-\lambda {)}^2-400=0$$

$$解得：{\lambda }_1=45,{\lambda }_2=5$$

将特征值${\lambda }_i$代入$(A^{T}A-{\lambda }_{i}I)x_i=0$ 并进行标准化（保证正交性）有：

（1）对于${\lambda }_1=45$，对应特征向量$x_1$为：
$$\begin{gathered} \left[\begin{array}{cc}25-45& 20\\ 20& 25-45\end{array}\right]\left[\begin{array}{c}{x}_1^1\\ x_1^2\end{array}\right]=0\Rightarrow x_1^1=x_1^2 \\ 标准化x_i:\Vert \begin{array}{c}{x}_i\end{array}\Vert =1\Rightarrow x_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right] \end{gathered}$$
（2）对于${\lambda }_2=5$，对应特征向量$x_2$为：

$$\begin{gathered} \left[\begin{array}{cc}25-5& 20\\ 20& 25-5\end{array}\right]\left[\begin{array}{c}{x}_2^1\\ x_2^2\end{array}\right]=0\Rightarrow x_2^1=-x_2^2 \\ 标准化x_i:\Vert \begin{array}{c}{x}_i\end{array}\Vert =1\Rightarrow x_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right] \end{gathered}$$

$\therefore$ 综上：我们得到$A^{T}A$的特征值与特征向量，同理可得$A{A}^T$。对应到A的奇异值分解为：左奇异矩阵$U=\left[\begin{array}{cc}\frac{1}{\sqrt{10}}& \frac{3}{\sqrt{10}}\\ \frac{3}{\sqrt{10}}& -\frac{1}{\sqrt{10}}\end{array}\right]$ ，

右奇异向量矩阵$V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$，奇异值矩阵$\Sigma =\left[\begin{array}{cc}\sqrt{45}& 0\\ 0& \sqrt{5}\end{array}\right]$（注意：求解后应有$\left|\begin{array}{c}U\end{array}\right|=\left|\begin{array}{c}V\end{array}\right|$）.

将计算得到的$U$,$\Sigma$,$V$代入奇异值分解$A=U\Sigma V^T$验证有：

$$A=\left[\begin{array}{cc}\frac{1}{\sqrt{10}}& \frac{3}{\sqrt{10}}\\ \frac{3}{\sqrt{10}}& -\frac{1}{\sqrt{10}}\end{array}\right]\left[\begin{array}{cc}\sqrt{45}& 0\\ 0& \sqrt{5}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 4& 5\end{array}\right]$$