PCA (principal component analysis)

1，主成分分析的目的

1.1、降维，从高维度到低维度；
1.2、找出最能解释这组数据的因子，第一主成分在方差最大的方向上，前几个主成分一般能解释这组数据方差的70%-90%；
1.3、主成分分析对有线性相关的各个组分有很好的应用效果，如果数据有高维度的相关性，应用效果会大打折扣。

2，从一个简单的例子开始

主要有下面一些步骤：
2.1 选择两组数据，大多数地方默认向量是列向量，但python的numpy.array的1d array默认是行向量，在使用过程中keep care。
2.2 对每组数据减去平均值（去中心化）。
2.3 计算协方差矩阵。
2.4 对协方差矩阵求特征值和特征向量。
2.5 选择一个或者多个特征向量组成特征矩阵。
2.6 用该特征矩阵对原始数据进行变化（如果选择了两个特征向量，变化后的数据就投影到这两个维度上了，这就是我们经常看到的组成分图）。
2.7 用变化后的数据和特征矩阵，可以变化回去原来的数据。

3，对PCA过程中的参数的解释

3.1 我们用软件画出PCA的图后，有时候会看到指向不同方向的箭头，这些箭头的方向就代表不同特征向量的方向，长度就代表不同方向的特征向量的重要性，即解释方差比例的描述。

3.2 关于特征值，将某个特征向量对应的特征值除以所有的特征值之和，得到的比例就是这个维度的特征向量解释方差的比例。

4，PCA在面部识别和图片压缩中的逻辑

4.1 面部识别
一张图片可以看成是NxN像素点的矩阵，提取出来它的N个特征向量，将图片变化到N个特征向量的空间中去，假设来了一个新的图片，将该图片也变化到这N个特征向量的空间中去，在该空间中比较图片的差异。
4.2 图片压缩
一张图片可以看成是NxN像素点的矩阵。提取出来它的N个特征向量，将图片变化到N个特征向量的空间中去；再选择k (k<N)个主要的特征，再将图片变化回去，就实现了压缩。

5，PCA的数学原理