机器学习-奇异值分解

奇异值分解

    奇异值分解（singular value deomposition, SVD）是一种矩阵因子分解方法，是线性代数的概念。任意一个矩阵，可以表示为三个矩阵的乘积（因子分解）形式。矩阵的奇异值分解一定存在，但不唯一，可以看作是矩阵数据压缩的一种方法，即用因子分解的方式近似地表示原始矩阵，这种近似是在平方损失意义下的最优近似。

1 奇异值分解的定义

    矩阵的奇异值分解是指将$m\ast n$的实矩阵$A$表示为以下三个实矩阵乘积形式的运算。
$$A=U\sum V^T$$
    其中$U$是$m$阶正交矩阵，$V$是$n$阶正交矩阵，$\sum$是$m\ast n$阶正交矩阵。
    其对角元素非负，且满足
$${\delta }_1\ge {\delta }_2\ge ...\ge {\delta }_p\ge 0$$
    任意给定的一个实矩阵，其奇异值分解一定存在，但并不唯一。
    奇异值分解包括紧奇异值分解和截断奇异值分解。紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。
    奇异值分解有明确的几何解释。奇异值分解对应三个连续的线性变换：一个旋转变换，一个缩放变换和另一个旋转变换。第一个和第三个旋转变换分别基于空间的标准正交基进行。

2 奇异值分解的计算

    设矩阵$A$的奇异值分解为$A=U\sum V^T$,则有
$$A^{T}A=V(\sum ^T\sum )V^T$$
$$A^{T}A=U(\sum \sum ^T)U^T$$
    矩阵$A$的奇异值分解可以通过求矩阵$A^{T}A$的特征值和特征向量得到：$A^{T}A$的特征向量构成正交矩阵$V$的列；从$A{A}^T$的特征值的平方根${\lambda }_i$得到奇异值${\delta }_i$，即
$${\delta }_i=\sqrt{{\lambda }_j},j=1,2,...,n$$
    对其进行由大到小排列，作为对角线元素，构成对角矩阵$\sum$；求正奇异值对应的左奇异向量，再求扩充的$A^T$的标准正交基，构成正交矩阵$U$的列。
    （1）首先求$A^{T}A$的特征值和特征向量。
$$(w-\lambda I)x=0$$
    得到特征值${\lambda }_i$，并对其进行升序排列。
    (2)求$n$阶正交矩阵$V$
    将特征向量单位化，得到特征向量构成的$n$阶正交矩阵$V$：
$$V=[v_1{v}_2...v_n]$$
    （3）求$m\ast n$对角矩阵$\sum$
    计算$A$的奇异值：
$${\delta }_i=\sqrt{{\lambda }_i}$$
$$\sum =diag({\delta }_1,{\delta }_2,...,{\delta }_n)$$
    （4）求$m$阶正交矩阵$U$
      求$A$的前$r$个正奇异值：
$$u_j={\frac{1}{\delta }}_{j}A{v}_j$$
$$U=[u_1{u}_2...u_r]$$
$$U=[U_1{U}_2]$$
    （5）得到奇异值分解
$$A=U\sum V^T$$

3 奇异值分解与矩阵近似

3.1 弗罗贝尼乌斯范数

    奇异值分解也是一种矩阵近似的方法，这个近似是在弗罗贝尼乌斯范数意义下的近似。矩阵的弗罗贝尼乌斯范数是向量的$L_2$范数的直接推广。定义为：
$$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n(a_{ij}{)}^2{)}^{\frac{1}{2}}=({\delta }_1^2+{\delta }_2^2+....+{\delta }_n^2{)}^{\frac{1}{2}}$$
    在秩不超过$k$的$m\ast n$矩阵的集合中，存在矩阵$A$的弗罗贝尼乌斯范数意义下的最优近似矩阵$X$.

3.2矩阵的最优近似

    矩阵的秩$rank(A)=r$，并设$M$是$R^{m\ast n}$中所有秩不超过$k$的矩阵的集合，$0<k<r$，使得：
$$||A-X|{|}_F=mi{n}_{S\in M}||A-S|{|}_F$$
$$||A-X|{|}_F=({\delta }_{k+1}^2+{\delta }_{k+2}^2+...+{\delta }_n^2{)}^{\frac{1}{2}}$$
    
    任意一个实矩阵可以由其外积展开式表示：
$$A={\delta }_1{u}_1{v}_1^T+{\delta }_2{u}_2{v}_2^T+{\delta }_n{u}_n{v}_n^T$$