PCA简要理解

1. PCA简要介绍

• 降维 —— 用新的基底表示（基变换）
  • 求最大方差：用来确定主方向，使得投影后的数据尽量分散。
  • 求协方差：使得新找的轴之间独立（不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立），这样就不会存在重复表达的信息。
• 零均值化 —— 方便后面的求协方差矩阵。—— 求的是同一个特征的平均值，就像$\overline{X}$，$\overline{Y}$
• 协方差矩阵：包括方差和协方差。—— 要会计算。
  以二维向量（X,Y）为例：
  $$Q=\left(\begin{array}{cc}Var(X)& Cov(X,Y)\\ Cov(X,Y)& Var(Y)\end{array}\right)$$
  • 协方差：$Conv(X,Y)$
  • 方差：$Var(X)$
• 协方差矩阵对角化
  • 获得特征值和特征向量
    $$C=P\Lambda P^T$$
    $C$为协方差矩阵，$P$中每一列就是主元，$\Lambda$为对角阵。

2. PCA用处

• 特征脸

参考资料

• PCA的数学原理(转)
• 如何理解主元分析（PCA）？