论文题目:The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrices
Abstract
1.Robust PCA问题: recovering a low-rank matrix with an unknown fraction of its entries being arbitrarily corrupted.
RPCA问题是一个凸优化问题:minimizes a combination of the nuclear norm and the L1-norm
2.本文提出一种更好更快的求解RPCA问题的算法:即用 Augmented Lagrange multipliers (ALM) 增广拉格朗日乘子法求解。
比之前用的APD(accelerated proximal gradient)快了5倍,精度也提高了,内存需求也减少了。
3.ALM也用于了 tensor completion
4.Matlab代码: http://perception.csl.illinois.edu/matrix-rank/home.html
Introduction
1.PCA assumes that the given high-dimensional data lie near a much lower-dimensional linear subspace
2.PCA的推导方式挺多的,常见的是方差角度的,这里是另一个角度:
D为 m*n 原数据,A为低秩矩阵,E为它们的差,r 远小于 min(m,n) 为目标子空间维数,目标函数中的 F 范数对应于数据被独立同分布高斯噪声腐蚀的假设。
问题可通过对 D 做 SVD ,取前 r 列向量,再投影。
3.当数据被加性高斯噪声腐蚀时,PCA得到效果很好,在噪声幅值不大的情况下,效果也不错。
如果 A 被任意腐蚀(即E任意大),PCA恢复出的 A 可以任意差。
4.RPCA:
[1]提出当 E 足够稀疏时(相对于A),通过求解如下凸优化问题,可以精确恢复出 A:
第一项为 A 的 nuclear norm (the sum of its singular values),第二项为 L1 范数(the sum of the absolute value of matrix entries),λ is a positive weighting parameter
RPCA对 large errors or outliers,gross corruption 效果也很好,背景建模的应用如下:
5. (2)再转化为一个可以看作普通凸优化问题,用任何 interior point solver 求解,推荐 CVX 工具箱 [2