论文｜Low-Rank Matrix Completion: A contemporary survey

前言

最近在做的研究中要用到UKBioBank数据集，数据集中存在很多的缺失值，所以教授让我研究看看矩阵补全。所以就先找了一篇偏综述一点的文章看看，了解一下基础的概念等等。
论文地址：Low-Rank Matrix Completion: A contemporary survey

相关概念

LRMC

LRMC(Low Rank Matrix Completion), wiki的解释是the task of filling in the missing entries of a partially observed matrix。使用矩阵补全的思路就是通过矩阵分解，将一个含缺失值的矩阵$X$分解为两个（或多个）矩阵，将这些分解后的矩阵相乘就能得到一个近似的矩阵$X^{\prime }$, 之后用$X^{\prime }$对应位置的值来替换$X$中的缺失值。

Spectral Norm

向量的二范数表示为一个空间点到原点的距离，矩阵的谱范数表示什么呢？如果将矩阵看成一种对于向量的变换方式（拉伸，旋转，映射等），那么矩阵谱范数的物理意义是对于任意一个向量，在矩阵的变换后，新的向量的长度（二范数）小于等于原来向量的长度乘以该矩阵的谱范数。也就是说，任何一个向量经过该矩阵的变换后长度变化是有限的。

Nuclear Norm

Nuclear Norm核范数，矩阵奇异值的和，用于约束矩阵的低秩。Nuclear Norm是奇异值的和，rank是非零奇异值的个数，通俗来讲nuclear norm能够近似rank的原理近似能用$l_1$来近似$l_0$

This is important in dimensionality reduction and multi-variate statistics, where the nuclear norm of a 2-tensor is used as convex surrogate for dimensional rank, which dramatically simplifies many deep learning optimization problems.

Frobenius Norm

$||A|{|}_F$, 矩阵$A$各项元素的平方的总和再开根号。可以用于利用低秩矩阵来接近单一数据矩阵（一个秩为k的矩阵$B$, 使矩阵$B$与原始数据矩阵$A$的差的F-norm尽可能小。）

论文内容梳理

Introduction

A holy grail of the low-rank matrix is that the essential information, expressed in terms of degree of freedom, in a matrix is much smaller than the total number of entries. Therefore, even though the number of observed entries is small, we still have a good chance to recover the whole matrix.

矩阵补全经常用在推荐系统中，最著名的就是Netflix的例子。这个思路很像是把数据降维的想法反过来应用。显然一般的数据集的矩阵都不是满秩的，所以我们可以用更少的数据来表示原来的矩阵；那么当我们只知道一个矩阵的部分信息时，就有可能反推到矩阵的全部信息。

When there is no restriction on the rank of a matrix, the problem to revocer unknown entries of a matrix from partial observed is ill-posed.

通过上面的叙述，我们知道矩阵的秩在这里十分的重要。如果这个只知道部分信息的矩阵的秩是未知或者没有做任何的限制，那么这个恢复矩阵的问题会变成一个NP-hard问题。就像论文中的一个简单例子
$$M=\left[\begin{array}{cc}1& 5\\ 2& ?\end{array}\right]\text{\hspace{1em}(3)}$$
如果$M$是满秩的($rank=2$), 那么$?$可以是非10的任何值，因为$?=10$时$rank=$