再读PCA

初识PCA

第一次在代码里面使用PCA算法还是在读大学时候，当时申请了一个人脸识别算法的实践项目，其实就是将别人论文中的算法进行实现，并且除算法外提供一个友好的界面显示算法结果，其中主要的算法就是对预处理的人脸图像数据提取主成分（主要的特征向量），然后比较两幅图像这些特征向量的距离，距离小于某个阈值就认为是同一张图像。

就这么简单个算法，在当时的人脸图像库上也有80%+的正确率，难怪之前吴恩达机器学习课程里说到PCA已经被工业界过度使用了，凡是降维就丢到PCA里跑一遍，最近在读CV相关的书里面也提到了PCA，并且对PCA算法的适用条件给出了一些指导，本文这里做一些摘记以供随时翻阅。

PCA流程

PCA流程里面的数据预处理通常是减去均值再除以标准差的操作，如下：
$$X_i^{new}=\frac{X_i-u_{X_i}}{{\delta }_{X_i}}$$
这个预处理通常是为了避免各个不同维度间变量量级差距太大带来的影响。有时候除了对于输入数据做预处，对于PCA降维后的数据根据后续需求的不同，也需要做类似的操作，例如在实际应用中的PCA白化就是对PCA的输出再进行一些变换。

PCA特点

• 降维: 一个输入经过某个变换后，得到的是低维的输出，并且这个输出能够通过逆变换近似重建输入，这种变换就认为是执行了降维
• PCA是一种线性降维算法，是基于数据本身分布进行降维的手段，属于无监督类型，如果已经知道了数据的类别，一个思路是让原始数据经过投影，在低维空间上不同类别的分布中心尽可能远离，相同类别的分布方差尽可能小，这种方式就是线性判别分析(LDA)
• PCA是经典的线性降维算法，为了引入非线性，可以在求协方差之前先做一次非线性变换，即Kernel PCA
• 适用于PCA的数据是统计意义上有强相关性的数据