Matrix Completion with Noise

Candes E J, Plan Y. Matrix Completion With Noise[J]. arXiv: Information Theory, 2010, 98(6): 925-936.

这篇文章，同一个人（团队？）写的，遗憾的是，没怎么看懂。怎么说呢，里面的关于对偶的性质实在不知道从何入手，但想来还是得记一笔。

引

这篇文章，讨论的是这样的一个问题，有一个矩阵$M\in {\mathbb{R}}^{n_1\times n_2}$，但是因为种种原因，我们只能知晓其中的一部分元素即$P_{\Omega }(M)$，那么问题来了，有没有办法能够恢复$M$呢，或者说在什么条件下我们能恢复$M$呢（实际上，这个问题好像是作者前一篇论文已经给出了答案）？然后，又有新的困难，因为我们的观测是有误差的，也就是说我们观测到的实际上不是$P_{\Omega }(M)$,而是$P_{\Omega }(M+Z)$。
作者总拿Netflix举例子，类似地，我们可以用网易云来举例子（虽然估计网易云的推荐方法和这个并没有啥大关系）。

我们可以这么想，$M$的每一行是一个用户，每一列是一首歌，其中的每一个元素是该用户给这首歌打的分（当然，这个分可能是通过一些操作的判断的，比如收藏，评论，下载，是否跳过等等）。显然，一个用户不可能听过里面的所有的歌，一首歌也没法让所有人都听（打分），所以，我们所见识到的是$P_{\Omega }(M)$,一个稀疏的矩阵。然而，推荐歌曲，关注的就是那些用户没有听过的但可能被打高分的歌，所以我们要做的就是利用$P_{\Omega }(M)$恢复出$M$。听起来的确蛮好玩的。

然后问题是，恢复需要什么前提。很显然，如果一首歌没有被人听过，或者该用户没有听过任何歌，肯定没法把分数恢复出来，因为这跟瞎猜没分别，所以，假设就是$M$低秩，但是每行每列不能全为零。

和之前一样，作者采用不连贯条件来描述：

恢复1

本来，是应该求解下述问题的：

但是，这个问题很难求解（NP-hard)。

然后$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}$的凸放松是$\Vert \cdot {\Vert }_{\ast }$核范数，所以：

核范数与SDP

核范数与SDP

然后，作者指出，核范数可以通过对偶，转换成一个半正定规范问题（看这篇论文最大的收获吧）。

$$\Vert X{\Vert }_{\ast }\le y\iff 存在对称矩阵W_1，W_2使得M:=\left[\begin{array}{cc}{W}_1& X\\ X^T& W_2\end{array}\right]⪰0,\mathrm{T}\mathrm{r}{W}_1+\mathrm{T}\mathrm{r}{W}_2\le 2y$$
先来前推后，只要构造出这么一个$W_1$就可以了。假设$X=U\Sigma V^T,\Sigma \in {\mathbb{R}}^{r\times r}$，$W_1=U\Sigma U^T,W_2=V\Sigma V^T$。那么，$\mathrm{T}\mathrm{r}{W}_1+\mathrm{T}\mathrm{r}{W}_2\le 2y$容易证明，第一个条件这么来玩：
$$[z_1^T,z_2^T]\left[\begin{array}{cc}{W}_1& X\\ X^T& W_2\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]$$
再令$a=U^T{z}_1,b=V^T{z}_2$，可得：
$$[z_1^T,z_2^T]\left[\begin{array}{cc}{W}_1& X\\ X^T& W_2\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]=(a+b{)}^T\Sigma (a+b)\ge 0$$
对于任意的$z_1,z_2$成立，所以半正定条件也得证了。

好了，现在来反推：
∥ X ∥ ∗ = sup ⁡ { T r ( X T W ) ∣ ∥ W ∥ ≤ 1 } \|X\|_* = \sup \{\mathrm{Tr}(X^TW)|\|W\|\le 1\} ∥X∥∗​=sup{Tr(XTW)∣∥W∥≤1}，其中$\Vert \cdot \Vert$表示谱范数。
注意$\Vert A{\Vert }_{\ast }\le \mathrm{T}\mathrm{r}(A)$,当$A$为半正定矩阵的时候。
所以
$$\Vert M{\Vert }_{\ast }\le \mathrm{T}\mathrm{r}(M)=\mathrm{T}\mathrm{r}(W_1+W_2)\le 2y$$
又 ∥ M ∥ ∗ = sup ⁡ { T r ( M T W ) ∣ ∥ W ∥ ≤ 1 } \|M\|_* = \sup \{\mathrm{Tr}(M^TW)|\|W\|\le 1\} ∥M∥∗​=sup{Tr(MTW)∣∥W∥≤1},所以
$$\mathrm{T}\mathrm{r}(M^{T}W)\le 2y$$
又
$$N:=\left[\begin{array}{cc}{U}^T& 0\\ 0& V^T\end{array}\right]M\left[\begin{array}{cc}0& I_{n_1\times n_1}\\ I_{n_2\times n_2}& 0\end{array}\right]\left[\begin{array}{cc}V& 0\\ 0& U\end{array}\right]=\left[\begin{array}{cc}\Sigma & U^T{W}_{1}U\\ V^T{W}_{2}V& \Sigma \end{array}\right]$$
令
$$W=\left[\begin{array}{cc}0& I_{n_1\times n_1}\\ I_{n_2\times n_2}& 0\end{array}\right]\left[\begin{array}{cc}V& 0\\ 0& U\end{array}\right]\left[\begin{array}{cc}{U}^T& 0\\ 0& V^T\end{array}\right]=\left[\begin{array}{cc}0& U{V}^T\\ V{U}^T& 0\end{array}\right]$$
容易证明$\Vert W\Vert \le 1$，所以$\mathrm{T}\mathrm{r}(N)=\mathrm{T}\mathrm{r}(M^{T}W)=2\Vert X{\Vert }_{\ast }\le 2y$，故$\Vert X{\Vert }_{\ast }\le y$得证。但愿没出错。。。

然后，论文就给出了第一个定理，关于恢复的：

这个结果貌似是之前的工作，，满足一定条件，$M$就会有很大概率被恢复。

然后呢，论文又提了以下加强版的不连贯条件：

然后有相应的定理2：

然后跳过。

稳定恢复

用户的评分是不一定正确，不同的场合，不同的天气可能就会给出不同的分数，如果是机器推断的分数那就更是如此了。所以，我们观测的部分数据实际上不一定是$P_{\Omega }(M)$，而是$P_{\Omega }(Y)=P_{\Omega }(M+Z)$，其中$Z$是类似噪声的存在。
假设，$\Vert P_{\Omega }(Z){\Vert }_F\le \delta$,求解下列问题：
$$\begin{array}{cc}\min & \Vert X{\Vert }_{\ast }\\ s.t.& \Vert P_{\Omega }(X-Y){\Vert }_F\le \delta \end{array}$$
这个问题同样可以作为SDP求解，假设其解为$\hat{M}$。有如下定理：

但是问题是，我们从何知道$\delta$呢？而在实际操作的时候，作者是求解下述问题：

$$\min \frac{1}{2}\Vert P_{\Omega }(X-Y){\Vert }_F^2+\mu \Vert X{\Vert }_{\ast }$$

作者说，这个问题是上面那个问题的对偶结果，饶了我吧，有点像，但是整不出来。然后，不同的情况，作者也给出了$\mu$的一些选择。

作者还拿上面的结果和下面的神谕问题进行了比较：

这个神谕，就是指，我们已经知道$X\in T$里面了，然后用了对偶还是共轭算子？晕了已经。就这样吧，再看我就得吐了。