论文笔记-Augmented Lagrange Multiplier Method for Recovery of Low-Rank Matrices

论文题目：The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrices

Abstract

1.Robust PCA问题： recovering a low-rank matrix with an unknown fraction of its entries being arbitrarily corrupted.

RPCA问题是一个凸优化问题：minimizes a combination of the nuclear norm and the L1-norm

2.本文提出一种更好更快的求解RPCA问题的算法：即用 Augmented Lagrange multipliers (ALM) 增广拉格朗日乘子法求解。

比之前用的APD（accelerated proximal gradient）快了5倍，精度也提高了，内存需求也减少了。

3.ALM也用于了 tensor completion

4.Matlab代码： http://perception.csl.illinois.edu/matrix-rank/home.html

 

Introduction

1.PCA assumes that the given high-dimensional data lie near a much lower-dimensional linear subspace

2.PCA的推导方式挺多的，常见的是方差角度的，这里是另一个角度：

D为 m*n 原数据，A为低秩矩阵，E为它们的差，r 远小于 min(m,n) 为目标子空间维数，目标函数中的 F 范数对应于数据被独立同分布高斯噪声腐蚀的假设。

问题可通过对 D 做 SVD ，取前 r 列向量，再投影。

3.当数据被加性高斯噪声腐蚀时，PCA得到效果很好，在噪声幅值不大的情况下，效果也不错。

如果 A 被任意腐蚀（即E任意大），PCA恢复出的 A 可以任意差。

4.RPCA:

[1]提出当 E 足够稀疏时（相对于A），通过求解如下凸优化问题，可以精确恢复出 A：

第一项为 A 的 nuclear norm （the sum of its singular values）,第二项为 L1 范数(the sum of the absolute value of matrix entries)，λ is a positive weighting parameter

RPCA对 large errors or outliers,gross corruption 效果也很好，背景建模的应用如下：

5. （2）再转化为一个可以看作普通凸优化问题，用任何 interior point solver 求解，推荐 CVX 工具箱 [2