PCA

原文博客：点击打开链接，从PCA和SVD的关系拾遗：点击打开链接

PCA主要用于特征降维，寻找最小均方意义下，最能代表原始数据的投影方法。典型应用就是人脸识别

CA的缺点：PCA将所有的样本（特征向量集合）作为一个整体对待，去寻找一个均方误差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能刚好包含了重要的可分性信息

PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。

PCA实例

      现在假设有一组数据如下：

      行代表了样例，列代表特征，这里有10个样例，每个样例两个特征。可以这样认为，有10篇文档，x是10篇文档中“learn”出现的TF-IDF，y是10篇文档中“study”出现的TF-IDF。

第一步，分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。这里x的均值是1.81，y的均值是1.91，那么一个样例减去均值后即为（0.69,0.49），得到

     第二步，求特征协方差矩阵，如果数据是3维，那么协方差矩阵是

     这里只有x和y，求解得

     对角线上分别是x和y的方差，非对角线上是协方差。协方差是衡量两个变量同时变化的变化程度。协方差大于0表示x和y若一个增，另一个也增；小于0表示一个增，一个减。如果ｘ和ｙ是统计独立的，那么二者之间的协方差就是０；但是协方差是０，并不能说明ｘ和ｙ是独立的。协方差绝对值越大，两者对彼此的影响越大，反之越小。协方差是没有单位的量，因此，如果同样的两个变量所采用的量纲发生变化，它们的协方差也会产生树枝上的变化。

    第三步，求协方差的特征值和特征向量，得到

      上面是两个特征值，下面是对应的特征向量，特征值0.0490833989对应特征向量为，这里的特征向量都归一化为单位向量。

    第四步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

    这里特征值只有两个，我们选择其中最大的那个，这里是1.28402771，对应的特征向量是(-0.677873399, -0.735178656)T。

    第五步，将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为

FinalData(10*1) = DataAdjust(10*2矩阵) x 特征向量(-0.677873399, -0.735178656)T

    得到的结果是

 

      这样，就将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影。

    上面的数据可以认为是learn和study特征融合为一个新的特征叫做LS特征，该特征基本上代表了这两个特征。上述过程如下图2描述：

      正号表示预处理后的样本点，斜着的两条线就分别是正交的特征向量（由于协方差矩阵是对称的，因此其特征向量正交），最后一步的矩阵乘法就是将原始样本点分别往特征向量对应的轴上做投影。

    整个PCA过程貌似及其简单，就是求协方差的特征值和特征向量

PCA推导

      先看下面这幅图：

      在第一部分中，我们举了一个学生成绩的例子，里面的数据点是六维的，即每个观测值是6维空间中的一个点。我们希望将6维空间用低维空间表示。

    先假定只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；如果这些数据形成一个椭圆形状的点阵，那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。

    上图中，u1就是主成分方向，然后在二维空间中取和u1方向正交的方向，就是u2的方向。则n个数据在u1轴的离散程度最大（方差最大），数据在u1上的投影代表了原始数据的绝大部分信息，即使不考虑u2，信息损失也不多。而且，u1、u2不相关。只考虑u1时，二维降为一维。

    椭圆的长短轴相差得越大，降维也越有道理。

1. 最大方差理论

      在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。如前面的图，样本在u1上的投影方差较大，在u2上的投影方差较小，那么可认为u2上的投影是由噪声引起的。

     因此我们认为，最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。

     比如我们将下图中的5个点投影到某一维上，这里用一条过原点的直线表示（数据已经中心化）：

    假设我们选择两条不同的直线做投影，那么左右两条中哪个好呢？根据我们之前的方差最大化理论，左边的好，因为投影后的样本点之间方差最大（也可以说是投影的绝对值之和最大）。

     计算投影的方法见下图5：

 

       图中，红色点表示样例，蓝色点表示在u上的投影，u是直线的斜率也是直线的方向向量，而且是单位向量。蓝色点是在u上的投影点，离原点的距离是<x,u>（即xTu或者uTx）。

2. 最小二乘法

     我们使用最小二乘法来确定各个主轴（主成分）的方向。

    对给定的一组数据（下面的阐述中，向量一般均指列向量）：

       

    其数据中心位于:

          

    数据中心化（将坐标原点移到样本点的中心点）：

        

    中心化后的数据在第一主轴u1方向上分布散的最开，也就是说在u1方向上的投影的绝对值之和最大（也可以说方差最大），计算投影的方法上面已经阐述，就是将x与u1做内积，由于只需要求u1的方向，所以设u1也是单位向量。

    在这里，也就是最大化下式：

        

    由矩阵代数相关知识可知，可以对绝对值符号项进行平方处理，比较方便。所以进而就是最大化下式：

        

    两个向量做内积，可以转化成矩阵乘法：

        

    所以目标函数可以表示为：

        

    括号里面就是矩阵乘法表示向量内积，由于列向量转置以后是行向量，行向量乘以列向量得到一个数，一个数的转置还是其本身，所以又可以将目标函数化为：

        

    去括号：

        

    又由于u1和i无关，可以拿到求和符外面，上式化简为：

        

    学过矩阵代数的同学可能已经发现了，上式括号里面求和后的结果，就相当于一个大矩阵乘以自身的转置，其中，这个大矩阵的形式如下：

        

    X矩阵的第i列就是xi

    于是有：

        

    所以目标函数最终化为：

        

    其中的就是一个二次型，

    我们假设的某一特征值为λ，对应的特征向量为ξ，有

        

    所以，是半正定的对称矩阵，即是半正定阵的二次型，由矩阵代数知识得出，目标函数存在最大值！

    下面我们求解最大值、取得最大值时u1的方向这两个问题。

    先解决第一个问题，对于向量x的二范数平方为:

        

    同样，目标函数也可以表示成映射后的向量的二范数平方：

        

    把二次型化成一个范数的形式，由于u1取单位向量，最大化目标函数的基本问题也就转化为：对一个矩阵，它对一个向量做变换，变换前后的向量的模长伸缩尺度如何才能最大？我们有矩阵代数中的定理知，向量经矩阵映射前后的向量长度之比的最大值就是这个矩阵的最大奇异值，即：

        

    式中，是矩阵A的最大奇异值（亦是矩阵A的二范数），它等于（或）的最大特征值开平方。

    针对本问题来说，是半正定对称阵，也就意味着它的特征值都大于等于0，且不同特征值对应的特征向量是正交的，构成所在空间的一组单位正交基。

    再解决第二个问题，对一般情况，设对称阵的n个特征值分别为：

      

    相应的单位特征向量为：

      

    任取一个向量x，用特征向量构成的空间中的这组基表示为：

      

    则：

     

    所以：

      

    针对第二个问题，我们取上式中的，目标函数取得最大值，也就是的最大特征值时，对应的特征向量的方向，就是第一主成分u1的方向！（第二主成分的方向为的第二大特征值对应的特征向量的方向，以此类推）。

    证明完毕。

    主成分所占整个信息的百分比可用下式计算：

  

    式中分母为所有奇异值平方和，分子为所选取的前k大奇异值平方和。

   有些研究工作表明，所选的主轴总长度占所有主轴长度之和的大约85% 即可，其实，这只是一个大体的说法，具体选多少个，要看实际情况而定