主成分分析（PCA）算法的简单推导和实例

问题1：为什么要降维？

   我们在处理实际问题的时候，进行特征提取过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗计算资源。

 

问题2：降维的方法有哪些？

特征降维一般分为两类：特征提取和特征抽取。特征选择就是简单的从高纬度的特征中选择其中一个子集来作为新的特征。特征抽取是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。

我们常见的分析方法包括有因子分析和主成分分析。因子分析，个人的理解是它更接近于业务，它需要找到变量之间的关系，有较强的可解释性。比如我们进行一个学生体育能力评估，我们会把100m和200m二维的结果降成一维进行描述--短跑的能力（或爆发力）。主成分分析，我们更多的是从数据本身出发，找到最大分散性来衡量，可能有时候会脱离实际业务。

 

问题3：主成分分析降维的几何意义？

我们对于一组数据，如果它在某一坐标轴上的方差越大，说明坐标点越分散，该属性能够比较好的反映源数据。所以在进行降维的时候，主要目的是找到一个超平面，它能使得数据点的分布方差呈最大，这样数据表现在新的坐标轴上时候已经足够分散了。如下图所示，当我们找到F1，它使得数据在该坐标轴上方差最大的时候，因为坐标轴之间正交，所以F2也能找到。

 

问题4：主成分分析数学推导？

首先，我们要对数据样本进行中心化，中心化即是指变量减去它的均值。我们通过坐标轴变换，使得原本属于x轴的数据样本变成w轴样本。我们希望变化后的数据在坐标轴w的呈现的值z的方差最大，则我们会得到图示目标函数，并且由于w是坐标轴，所以我们会得到一个约束条件。根据拉格朗日乘子法可以解决该问题，经过处理后我们把问题变成了x协方差求特征值，求特征向量的问题了。

 

 

问题5：主成分分析具体步骤？

我们已经在上述过程中知道了问题的数学模型，我们可以解除p个特征值与对应的特征向量。我们可以对特征值进行大到小排序，如果我们要从p维 --> q维（q＜p），那么我们只需要取前q个特征值对应的特征向量进行向量相乘。如果问题并没有给出具体q的值，那么我们可以通过计算如下式子便可以知道q的取值。其中t的取值相当于是一个阈值，比如我们需要保留80%，那么t=0.8即可。

 

问题6：实例来说明具体计算过程？

假设我们有一个二维数据，我们要通过PCA的方法来将这个二维数据降到一维。

因为数据已经中心化，所以我们就省去了中心化的步奏。我们进行求x协方差的步奏：

我们可以求得其特征值和特征向量：

我们对特征向量进行标准化：

因此我们就可以得到w矩阵

我们现在是将二维数据变成一维数据，所以我们将lambda进行排序，选择最大的一个特征值和对应的特征向量进行降维，结果为：