奇异值分解（SVD）学习笔记

1、奇异值分解介绍

在机器学习或数据分析中，有时样本数据会比较大，这样对计算机的内存会有很大的负担。此时，通过一些方法来提取数据中的主要成分，而忽略其中可以忽略不计的成分，将大大减少计算量。本文讲简单介绍奇异值分解（SVD）方法。
在机器学习中，数据一般以矩阵的形式作为输入，放入模型中进行训练或计算。矩阵的一行代表一个样本，矩阵的一列代表样本的特征。提取矩阵重要特征的方法有特征值分解和奇异值分解（可能还有其他，目前我只了解这两种）。
在特征值分解种，分解可以特征值和特征向量，特征值标示这个特征到底有多重要，而特征向量标示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间。但是特征值分解有很多局限，比如变换的矩阵必须是方阵。
而奇异值分解（SVD）就没有这个限制，奇异值分解是一个能适用于任意矩阵的分解方法。

如上图，图中将一个m*n矩阵分解为右边三个矩阵。其中，$\Sigma$中是由A的奇异值组成的对角矩阵，且该矩阵中的奇异值从上到下递减。奇异值越大，表示特征越重要。因此，只需取$\Sigma$中较大的奇异值及其左右u、v矩阵中相应成分，所组成的新的矩阵乘积即可近似代替原来的矩阵A。如下图

由此，便可以减少数据量的存储。

2、奇异值分解方法

假设在原始域中有一个单位圆，如下图所示。经过矩阵变换以后在co-domain中单位圆会变成一个椭圆，它的长轴和短轴分别对应转换后的两个标准正交向量，也是在椭圆范围内最长和最短的两个向量。

对于矩阵A，我们可以有$A^TA$，由于$A^TA$是对称矩阵，由此不同特征值对应的特征向量都是互相正交的，我们用$v_i$来表示$A^TA$的特征向量，于是，奇异值为$\sigma_i=|Av_i|$，向量$u_i$为$Av_i$方向上的单位向量。由此，就可以有

$$A = U\Sigma V^T$$