主成分分析（Principal Component Analysis）

主成分分析（Principal Component Analysis）

主成分分析（PCA）是一个被广泛用于降维、有损数据压缩、特征提取和数据可视化的技术。PCA有两种常用的定义，分别是从最大化投影后数据的方差和最小化投影后数据与原始数据之间的误差两个角度考虑的。两个定义最终的结果是一致的，我们从方差最大化的角度具体讨论一下PCA。

• 方差最大化
• PCA的代码实现

方差最大化

考虑一个观察的数据集$\{x_n\},n=1,...,N$,并且$x_n$是一个$D$维的变量。当我们从方差最大化的角度去考虑PCA的时候，我们的目标其实是要将原始数据投影到一个低维(维数$M<D$)空间,并且要最大化投影后的数据的方差。为了讨论的简便，我们假设$M$是给定的。
首先我们考虑$M=1$的情况。我们用一个$D$维的单位向量$u_1$来表示低维空间的方向。从原始数据到低维空间的投影可以由$u_1^Tx_n$来获得。所以低维空间上数据的均值为