矩阵的秩、矩阵分解概念

首先来想一个问题，最初的那个人为什么要叫他为“秩”，为什么不叫“鸡”“鸭”“鹅”？举个例子就很容易理解，大家排队买票。如果大家互相不认识，那就会一个排一个，非常有秩序。然而，如果突然来了一个与队伍前面的人认识的人，这个人又不自觉，非要插队。那后面的人肯定要有意见了，说你要是这样我前面还有认识的人呢，你插我也插，这样整个队伍就乱掉了，谁也买不成。通过这个例子，可得以下结论：彼此不认识，那就不相关，就有秩序，问题就好解决；反之，彼此相关，就没有秩序，问题就不好解决。所以，数学家们定义，矩阵中的最大的不相关的向量的个数，就叫秩，可以理解为有秩序的程度。从社会学的角度在考虑一下，政府机关是讲人际关系的地方，可谓是关系错综复杂，通常都是近亲繁殖。显然这些部门，用矩阵来说，就不满秩，秩非常小。可以想象这些地方的工作肯定是搞不好的，因为没有秩序。所以想找个好单位，满秩可以作为一个评价指标。

已知一个部分可观察的矩阵M：
矩阵补全（Matrix Completion）目的是为了估计矩阵中缺失的部分（不可观察的部分），可以看做是用矩阵X近似矩阵M，然后用X中的元素作为矩阵M中不可观察部分的元素的估计。
矩阵分解（Matrix Factorization）是指用 A*B 来近似矩阵M，那么 A*B 的元素就可以用于估计M中对应不可见位置的元素值，而A*B可以看做是M的分解，所以称作Matrix Factorization。
显然，通过以上描述可知，矩阵分解可以用于矩阵补全任务。此外，做矩阵分解也可以用于分解一个完全观察的矩阵，比如通过分解来对一个完全观察的矩阵做有损压缩和低维表示等等。而且，矩阵补全也并不总是采用分解的方法。

矩阵填充是一个task，矩阵分解是一类operation。
在推荐系统里，如果有评分矩阵M，其中的每个元素(i, j)可存在可缺失，存在时代表用户i对商品j的评分，那么当我们基于协同过滤来推荐时，这个推荐问题可以较好地归约到矩阵填充这个task上来。这是因为协同过滤本质上是考虑大量用户的偏好信息（协同），来对某一用户的偏好做出预测（过滤），那么当我们把这样的偏好用评分矩阵M表达后，这即等价于用M其他行的已知值（每一行包含一个用户对所有商品的已知评分），来估计并填充某一行的缺失值。若要对所有用户进行预测，便是填充整个矩阵，这是所谓“协同过滤本质是矩阵填充”。
那么，这里的矩阵填充如何来做呢？矩阵分解是一种主流方法。这是因为，协同过滤有一个隐含的重要假设，可简单表述为：如果用户A和用户B同时偏好商品X，那么用户A和用户B对其他商品的偏好性有更大的几率相似。这个假设反映在矩阵M上即是矩阵的低秩。极端情况之一是若所有用户对不同商品的偏好保持一致，那么填充完的M每行应两两相等，即秩为1。所以这时我们可以对矩阵M进行低秩矩阵分解，用U*V来逼近M，以用于填充——对于用户数为m，商品数为n的情况，M是m*n的矩阵，U是m*r，V是r*n，其中r是人工指定的参数。这里利用M的低秩性，以秩为r的矩阵M'=U*V来近似M，用M'上的元素值来填充M上的缺失值，达到预测效果。
之所以说矩阵分解是一类operation，是因为上述的低秩矩阵分解只是矩阵分解的一种，为人熟知的矩阵分解还有LU-矩阵分解，QR-矩阵分解，特征值分解等等。之所以在协同过滤中经常把重点放在矩阵分解上，是因为在如今推荐系统问题的庞大数据规模下，矩阵分解这样的方法表现出了优秀的性能。