数据降维

数据降维的目的：

1. 发现隐含特征
2. 移除噪声
3. 方便解释和可视化

SVD分解

SVD原理

SVD分解的一般形式：
$${\mathbf{A}}_{[m\times n]}={\mathbf{U}}_{[m\times r]}{\Sigma }_{[r\times r]}{\left({\mathbf{V}}_{[n\times r]}\right)}^{\top }$$
其中：以用户和电影之间的评分来讨论这一问题，方便理解。
$A$：输入矩阵，例如：用户和电影之间的评分矩阵
$U$：列正交矩阵（$m\ast r$），且每一列均为单位向量，可以理解为用户和电影种类（或者说Latent factors）之间的关联矩阵
$\Sigma$：对角阵（$r\ast r$），根据矩阵$A$提供的信息多少，显示每个种类（或者说Latent factors）的strength，且对角阵上的值按降序排列。
$V^{\top }$：行正交矩阵（$n\ast r$），且每一行为单位向量，表示每部电影和电影种类（或者说Latent factors）之间的关联矩阵。

结合上图，简单理解下SVD分解的含义。矩阵$U$是user-to-concept矩阵，比较每行中三个值的大小，不难发现，第一列中前四行的值较大，刚好对应user-to-movie矩阵中，前四个用户均喜欢观看科幻类电影；矩阵$\Sigma$是每个种类的电影所占的比例，由于在user-to-movie矩阵中，用户对科幻类电影的打分项明显高于浪漫类，所以在矩阵$\Sigma$中科幻类电影的比重较大；矩阵$V^{\top }$是电影种类和电影之间的关联程度，不难发现第一行前三个的值第一行后两个的值，刚好对应上前三部电影是科幻类。
在上面的例子中，我们不难发现，第五个和第七个用户虽然大部分的观影是浪漫类，但也存在科幻类的观影。正是由于此原因造成分解时电影种类有三类，但是实际上可以将$\Sigma$对角阵上较小的值置为0，接下来将证明这一点。
假设矩阵$M$的$SVD$分解为$M=PQR$，则：
$$||M|{|}^2=\sum _i\sum _j{\left(m_{ij}\right)}^2=\sum _i\sum _j(\sum _k$$