基于低秩与低维的稳健主成分分析

稳健主成分分析

主成分分析，即通过一个投影矩阵将高维原始数据映射到低维子空间中，并使原始数据尽可能被解释。然而，在实际的数据处理中，原始数据往往存在噪声，这将影响投影矩阵的估计，因此，就有了稳健主成分分析（robust principal component analysis，RPCA）。

目前，实现稳健的主成分分析方法可被分为两大类：基于低秩表示的RPCA以及基于低维表示的RPCA。在接下里的内容中，首先对基于低秩表示的RPCA进行说明，然后再探讨基于低维表示的RPCA，最后，我们简要介绍结合低维与低秩的RPCA方法。

一、稳健主成分分析：基于低秩表示

1、为什么会有RPCA：

PCA可以说是当今数据分析和降维中使用最广泛的统计工具。然而，在图像处理、网络数据分析和生物信息学等现代应用中普遍存在大量噪声，其会大大影响模型估计效果。为了解决这一问题，我们旨在将被噪声破坏的数据矩阵分解为干净的低秩矩阵和稀疏噪声矩阵。

2、RPCA的应用领域：

视频监控：给定一系列监控视频帧，识别从背景中脱颖而出的活动目标。

人脸识别：噪声情况下的人脸识别。

协同过滤

3、RPCA

$$min\Vert X{\Vert }_{\ast }+\lambda \Vert S{\Vert }_1,s.t.X+S=D.$$
通过求解上述凸优化问题，即可得到矩阵低秩分解结果。在R中可直接调用package rpca.

4、RPCA的图像去噪演示

注：RPCA思想的产生实际上是一个拓展思维的过程。我们首先考虑到的是假设存在一个数据矩阵，已知它是稀疏和低秩的叠加，那么我们能否对其单独恢复，如果这一点做到了，那么给定一个噪声矩阵，就能将其分解为干净矩阵与噪声，接下来探讨分解有意义的情况即可。

二、稳健主成分分析：基于低维表示

1、PCA

传统的PCA寻求最大化数据方差的投影，以获得投影矩阵（主成分），基于低维表示的PCA被广泛用于图像重构、图像识别等领域。PCA定义为

$$\underset{\mathbf{V}}{\min }\sum _{i=1}^n{\Vert {\mathbf{x}}_i-\mathbf{V}{\mathbf{V}}^T{\mathbf{x}}_i\Vert }_2^2,\text{ s.t. }{\mathbf{V}}^T\mathbf{V}=\mathbf{I}.$$

其中，正交约束表示投影到的是正交子空间。上式等价于：
$$\underset{\mathbf{V}}{\max }\sum _{i=1}^n{\Vert {\mathbf{V}}^T{\mathbf{x}}_i\Vert }_2^2=\mathrm{tr}\left({\mathbf{V}}^T{\mathbf{S}}_t\mathbf{V}\right),\text{ s.t. }{\mathbf{V}}^T\mathbf{V}=\mathbf{I}.$$

2、RPCA

基于低维表示的稳健PCA往往采用更换损失来实现稳健，比如将不稳健的平方范数更换为稳健的绝对值范数

$$\underset{\mathbf{V}}{\min }\sum _{i=1}^n{\Vert {\mathbf{x}}_i-\mathbf{V}{\mathbf{V}}^T{\mathbf{x}}_i\Vert }_1,\text{ s.t. }{\mathbf{V}}^T\mathbf{V}=\mathbf{I}.$$

进一步的，也可以采用p范数、截断的损失等来实现稳健性，构建稳健的低维PCA。

3、RPCA的图像重构演示（基于2-D PCA）

三、结合低秩与低维的RPCA

目前，已有不少方法研究基于结合低秩分解与低维表示的稳健主成分分析，得到所谓的低秩表示、低秩投影等，如下。

1、Inductive Robust Principal Component Analysis（IRPCA）

由于基于低秩表示的RPCA不能处理样本外的数据，而基于低维表示的则可以，所以IRPCA旨在寻求以原始数据为字典的最优低秩投影。

参见：B.-K. Bao, G. Liu, C. Xu, and S. Yan, “Inductive robust principal component analysis,” IEEE Trans. Image Process., vol. 21, no. 8, pp. 3794–3800, Aug. 2012.

2、Latent Low-Rank Representation

潜在的低秩表示提供了一种同时执行噪声校正和子空间分割的有效方法，与IRPCA不同，其将观测到的原始数据与未观测到的隐藏数据结合起来作为字典寻求最优子空间分割和最优特征提取。

参见：G. Liu and S. Yan, “Latent low-rank representation for subspace segmentation and feature extraction,” in Proc. Int. Conf. Comput. Vis., 2011, pp. 1615–1622.

3、Low-Rank Embedding

低秩嵌入提供稳健的图像表示来揭示图像之间的潜在关系，以减少遮挡和损坏而产生的负面影响，从而增强算法在图像特征提取中的稳健性。

参见：W. K. Wong, Z. Lai, J. Wen, X. Fang, and Y. Lu, “Low-rank embedding for robust image feature extraction,” IEEE Trans. Image Process., vol. 26, no. 6, pp. 2905–2917, Jun. 2017.

4、Low-Rank Projection

低秩投影，与前三者最显著的不同在于给出了投影的正交约束。

参见：X. Fang et al., “Approximate low-rank projection learning for feature extraction,” IEEE Trans. Neural Netw., vol. 29, no. 11, pp. 5228–5241, Nov. 2018.

结合低秩与低维的方法千奇百怪，但他们都离不开核范数、稀疏范数的作用。