低秩矩阵分解

• 低秩矩阵中低秩（Low-rank）的意义

 

1，问题的引出——对低秩矩阵分解中低秩的误解

        论文《Privileged Matrix Factorization for Collaborative Filtering》是我在推荐系统研究方向上所读的第一篇论文（针对该篇论文，请看总结点击打开链接），当时对矩阵分解的理解是：评分矩阵X分解成两个隐特征矩阵U和V，U代表用户隐特征矩阵，V代表商品隐特征矩阵。U和V的隐因子向量的长度为k，其中k<<min{m,n}，自己也就理解成了分解后的两个矩阵的秩是比原来的评分矩阵X的秩低很多，所以就把该方法称为低秩矩阵分解法。

 

        在我查阅了大量资料后，事实证明我对低秩矩阵分解中的低秩的意义理解是错误的。那么低秩（Low-rank）的意义到底代表什么呢，请看下面的解释

 

 

 

2，低秩矩阵分解中低秩的意义

        我们先来回忆下线性代数里面“秩”到底是啥？举个简单的例子吧：

 

 

         对上面的线性方程组，第一个方程和第二个方程有不同的解，而第2个方程和第3个方程的解完全相同。从这个意义上说，第3个方程是“多余”的，因为它没有带来任何的信息量，把它去掉，所得的方程组与原来的方程组同解。为了从方程组中去掉多余的方程，自然就导出了“矩阵的秩”这一概念。

 

 

        还记得我们怎么手工求矩阵的秩吗？为了求矩阵A的秩，我们是通过矩阵初等变换把A化为阶梯型矩阵，若该阶梯型矩阵有r个非零行，那A的秩rank(A)就等于r。从物理意义上讲，矩阵的秩度量的就是矩阵的行列之间的相关性。如果矩阵的各行或列是线性无关的，矩阵就是满秩的，也就是秩等于行数。回到上面线性方程组来说吧，因为线性方程组可以用矩阵描述嘛。秩就表示了有多少个有用的方程了。上面的方程组有3个方程，实际上只有2个是有用的，一个是多余的，所以对应的矩阵的秩就是2了。

 

       OK。既然秩可以度量相关性，而矩阵的相关性实际上就表示了矩阵的结构信息。如果矩阵之间各行的相关性很强，那么就表示这个矩阵实际可以投影到更低维的线性子空间，也就是用几个向量就可以完全表达了，它就是低秩的。所以我们总结的一点就是：如果矩阵表达的是结构性信息，例如图像、用户-商品推荐表等等，那么这个矩阵各行之间存在这一定的相关性，那这个矩阵一般就是低秩的。

 

       如果X是一个m行n列的数值矩阵，rank(X)是X的秩，假如rank (X)远小于m和n，则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出，可见它包含大量的冗余信息。利用这种冗余信息，可以对缺失数据进行恢复，也可以对数据进行特征提取。

 

 

 

二、矩阵填补（Matrix Completion）

        矩阵填补的应用很广泛，论文《Matrix completion by deep matrix factorization》就给出了矩阵填补的两个应用：图像修复（image inpainting）、协同过滤（Collaborative filtering）。

 

        图像修复：简单来说就是通过矩阵填补模型将“打码”的图片修复成原来的图片，如下图所示：

 

 

 

 

        协同过滤：是推荐系统的一种模型，该方法通过分析用户的历史记录（主要是用户-商品评分矩阵）来给用户做出推荐。例如我们在看一部电影的时候，如果喜欢看，就会给它打个分，例如3颗星。然后系统，例如Netflix等知名网站就会分析这些数据，看看到底每部影片的题材到底是怎样的？针对每个人，喜欢怎样的电影，然后会给对应的用户推荐相似题材的电影。但有一个问题是：我们的网站上面有非常多的用户，也有非常多的影片，不是所有的用户都看过说有的电影，不是所有看过某电影的用户都会给它评分。假设我们用一个“用户-影片”的矩阵来描述这些记录，例如下图，可以看到，会有很多空白的地方。如果这些空白的地方存在，我们是很难对这个矩阵进行分析的，所以在分析之前，一般需要先对其进行补全。也叫矩阵填充。

 

 

        那到底怎么填呢？如何才能无中生有呢？每个为0的地方的信息是否蕴含在其他已有的信息之上了呢？如果有，怎么提取出来呢？Yeah，这就是低秩生效的地方了。这叫低秩矩阵重构问题，它可以用如下的模型表述：已知数据是一个给定的m*n矩阵A，如果其中一些元素因为某种原因丢失了，我们能否根据其他行和列的元素，将这些元素恢复？当然，如果没有其他的参考条件，想要确定这些数据很困难。但如果我们已知A的秩rank(A)<<m且rank(A)<<n，那么我们可以通过矩阵各行(列)之间的线性相关将丢失的元素求出。你会问，这种假定我们要恢复的矩阵是低秩的，合理吗？实际上是十分合理的，比如一个用户对某电影评分是其他用户对这部电影评分的线性组合。所以，通过低秩重构就可以预测用户对其未评价过的视频的喜好程度。从而对矩阵进行填充。

 

 

三、交叉验证（Cross Validation）

        论文的实验部分会经常用到交叉验证，它是评价模型性能的一种指标，也是选择合适超参的一种方法。

 

        交叉验证：把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。

 

 

 

 

 

 

 

 

1. 秩（Rank）

　　为了从方程组中去掉多余的方程，引出了“矩阵的秩”。矩阵的秩度量的就是矩阵的行列之间的相关性。为了求矩阵A的秩，我们是通过矩阵初等变换把A化为阶梯型矩阵，若该阶梯型矩阵有r个非零行，那A的秩rank(A)就等于r。 如果矩阵的各行或列是线性无关的，矩阵就是满秩的，也就是秩等于行数。

2. 低秩（Low-Rank）

　　如果X是一个m行n列的数值矩阵，rank(X)是X的秩，假如rank (X)远小于m和n，则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出，可见它包含大量的冗余信息。利用这种冗余信息，可以对缺失数据进行恢复，也可以对数据进行特征提取。

3. 低秩分解（Low Rank Filters）

　　目的：去除冗余，并且减少权值参数

　　方法：采用两个K*1的卷积核替换掉一个K*K的卷积核(decompose the K convolutions into two separable convolutions of size 1 × K and K × 1)

原理：权值向量主要分布在一些低秩子空间，用少数基来重构权值矩阵

4. 矩阵补全（Matrix Completion）

　　目的：是为了估计矩阵中缺失的部分（不可观察的部分），可以看做是用矩阵X近似矩阵M，然后用X中的元素作为矩阵M中不可观察部分的元素的估计。

5. 矩阵分解（Matrix Factorization）

　　目的：是指用 A*B 来近似矩阵M，那么 A*B 的元素就可以用于估计M中对应不可见位置的元素值，而A*B可以看做是M的分解，所以称作Matrix Factorization。

　　这是因为协同过滤本质上是考虑大量用户的偏好信息（协同），来对某一用户的偏好做出预测（过滤），那么当我们把这样的偏好用评分矩阵M表达后，这即等价于用M其他行的已知值（每一行包含一个用户对所有商品的已知评分），来估计并填充某一行的缺失值。若要对所有用户进行预测，便是填充整个矩阵，这是所谓“协同过滤本质是矩阵填充”。

那么，这里的矩阵填充如何来做呢？矩阵分解是一种主流方法。这是因为，协同过滤有一个隐含的重要假设，可简单表述为：如果用户A和用户B同时偏好商品X，那么用户A和用户B对其他商品的偏好性有更大的几率相似。这个假设反映在矩阵M上即是矩阵的低秩。极端情况之一是若所有用户对不同商品的偏好保持一致，那么填充完的M每行应两两相等，即秩为1。

　　所以这时我们可以对矩阵M进行低秩矩阵分解，用U*V来逼近M，以用于填充——对于用户数为m，商品数为n的情况，M是m*n的矩阵，U是m*r，V是r*n，其中r是人工指定的参数。这里利用M的低秩性，以秩为r的矩阵M’=U*V来近似M，用M’上的元素值来填充M上的缺失值，达到预测效果。

　　低秩分解主要分为以下三个（SVD分解、Tucker分解、Block Term分解）