PCA与RPCA

PCA与RPCA

PCA和RPCA从名字看是有一些相似性的，两者的区别在于对于误差的假设不同，PCA假设数据误差是服从高斯分布的，即数据噪声较小；RPCA假设数据噪声是稀疏的，并且可能是强的噪声；

一般推导主成分分析可以有两种方法：

• 最近可重构性：样本点到超平面要尽可能近；
• 最大可分性：样本点在这个超平面上的投影尽可能分开，即最大化投影方差；

下面基于最大化投影方差来回归该算法，首先，先回顾一下PCA操作的步骤：

• 对样本数据进行中心化处理（这步操作比较重要，特别是对推导公式）
• 求样本的协方差矩阵；
• 对样本的协方差矩阵进行特征值分解，并通过前k个特征值对应的特征向量进行映射：

\[ \boldsymbol{x}_{i}^{\prime}=\left[\begin{array}{c}{\boldsymbol{\omega}_{1}^{\mathrm{T}} \boldsymbol{x}_{i}} \\ {\boldsymbol{\omega}_{2}^{\mathrm{T}} \boldsymbol{x}_{i}} \\ {\vdots} \\ {\boldsymbol{\omega}_{d}^{\mathrm{T}} \boldsymbol{x}_{i}}\end{array}\right] \]

最大方差推导：

假设原始的坐标为