算法学习之SVD理论推导

SVD理论简介：

　　老铁，欢迎赶上二路公交车。让我们畅游一下SVD算法的理论推导与应用。奇异值分解（Singular Value Decomposition, SVD）是更为通用化的矩阵分解方式，与特征分解不（矩阵必须为方阵）同，SVD并不要求矩阵为方阵。这样SVD可以应用在图像压缩、去噪、降维、推荐系统等领域。下面就进行简单介绍SVD算法的计算步骤与实例操作。

SVD求解步骤：

　　假设我们需要对矩阵$A$进行SVD分解操作，已知矩阵$A$是一个$m\times n$的矩阵，其中m与n可以相等(特征分解)也可以不等(绝大多数情况不相等)。那么定义矩阵$A$的SVD分解公式如下：
$$A=U\ast \sum \ast V^T\text{\hspace{1em}(1)}$$

参数解释：

　　$U$是一个$m\times m$的矩阵，$\sum$是一个$m\times n$的对角矩阵(即：除了对角线上的元素意外全为0，对角线上的每个元素都为奇异值)，$V$是一个$n\times n$的矩阵。$U$和$V$都是酉矩阵，即满足$U^{T}U=E$，$V^{T}V=E$，其中$E$为单位矩阵。

那么，SVD的求解就是求出公式等号右边矩阵$U$、$\sum$、$V^T$这三个矩阵？

下面我们就来求解上述的$U$、$\sum$、$V^T$三个矩阵步骤如下：

$Step1$: 我们首先使用矩阵$A$乘以$A^T$($A$的转置矩阵)，那么会得到一个$m\times m$的方阵$A{A}^T$。我们对方阵$A{A}^T$进行特征分解，那么得到特征值与特征向量满足下式：

$$(A{A}^T)u_i={\alpha }_i{u}_i$$

　　其中，${\alpha }_i$为方阵$A{A}^T$的特征值，$u_i$为对应的特征向量。

　　我们知道方阵$A{A}^T$为$m\times m$，那么特征分解后有$m$个特征值，同时对应$m$个特征向量$u_i$。将$m$个特征向量$u_i$组成一个$m\times m$的矩阵$U$，就是我们需要求解的公式1的矩阵$U$。

$Step2$: 使用矩阵$A^T$($A$的转置)乘以$A$，那么会得到一个$n\times n$的方阵$A^{T}A$。我们对方阵$A^{T}A$进行特征分解，那么得到特征值与特征向量满足下式：

$$(A^{T}A)v_i={\beta }_i{v}_i$$

　　其中，${\beta }_i$为方阵$A^{T}A$的特征值，$v_i$为对应的特征向量。

　　方阵$A^{T}A$为$n\times n$，那么特征分解后有$n$个特征值，同时对应$n$个特征向量$v_i$，将$n$个特征向量$v_i$组成一个$n\times n$的矩阵$V$，将矩阵$V$转置操作后就是我们需要求解公式1的矩阵$V^T$。

$Step3$: 接下来是要求解出中间的对角矩阵$\sum$，我们知道$\sum$除了对角线上以外都是0，所以我们只需要求解对角线上的奇异值就可以。

$$\sum =[\begin{array}{ccc}{\sigma }_0& 0& 0\\ 0& {\sigma }_1& 0\\ 0& 0& {\sigma }_2\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}$$