PCA

问题1：为什么要降维？

我们在处理实际问题的时候，进行特征提取过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗计算资源。

问题2：降维的方法有哪些？

特征降维一般分为两类：特征提取和特征抽取。特征选择就是简单的从高纬度的特征中选择其中一个子集来作为新的特征。特征抽取是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。

我们常见的分析方法包括有因子分析和主成分分析。因子分析，个人的理解是它更接近于业务，它需要找到变量之间的关系，有较强的可解释性。比如我们进行一个学生体育能力评估，我们会把100m和200m二维的结果降成一维进行描述–短跑的能力（或爆发力）。主成分分析，我们更多的是从数据本身出发，找到最大分散性来衡量，可能有时候会脱离实际业务。

问题3：主成分分析降维的几何意义？

我们对于一组数据，如果它在某一坐标轴上的方差越大，说明坐标点越分散，该属性能够比较好的反映源数据。所以在进行降维的时候，主要目的是找到一个超平面，它能使得数据点的分布方差呈最大，这样数据表现在新的坐标轴上时候已经足够分散了。如下图所示，当我们找到F1，它使得数据在该坐标轴上方差最大的时候，因为坐标轴之间正交，所以F2也能找到。

问题4：主成分分析数学推导？

首先，我们要对数据样本进行中心化，中心化即是指变量减去它的均值。我们通过坐标轴变换，使得原本属于x轴的数据样本变成w轴样本。我们希望变化后的数据在坐标轴w的呈现的值z的方差最大，则我们会得到图示目标函数，并且由于w是坐标轴，所以我们会得到一个约束条件。根据拉格朗日乘子法可以解决该问题，经过处理后我们把问题变成了x协方差求特征值，求特征向量的问题了。

问题5：主成分分析具体步骤？

我们已经在上述过程中知道了问题的数学模型，我们可以解除p个特征值与对应的特征向量。我们可以对特征值进行大到小排序，如果我们要从p维 --> q维（q＜p），那么我们只需要取前q个特征值对应的特征向量进行向量相乘。如果问题并没有给出具体q的值，那么我们可以通过计算如下式子便可以知道q的取值。其中t的取值相当于是一个阈值，比如我们需要保留80%，那么t=0.8即可。

问题6：实例来说明具体计算过程？

假设我们有一个二维数据，我们要通过PCA的方法来将这个二维数据降到一维。

因为数据已经中心化，所以我们就省去了中心化的步奏。我们进行求x协方差的步奏：

我们可以求得其特征值和特征向量：

我们对特征向量进行标准化：

因此我们就可以得到w矩阵

我们现在是将二维数据变成一维数据，所以我们将lambda进行排序，选择最大的一个特征值和对应的特征向量进行降维，结果为：

主成分解释其含义往往具有一定的模糊性，不如原始样本完整

贡献率小的主成分往往可能含有对样本差异的重
以PCA一般不用来做直接的特征提取而是用来做特征矩阵的降维。当然，降维的结果用于分类并不理想，我们可以进一步Fisher变换（类内离差，类间阵增大类间距离，缩小类内距离）。但是Fisher变换会引入新的弱点，那就是对于训练类别的数据变得更敏感了，分类效果上升的代价是通用性下降，当类型数量急剧膨胀的时候，分类效果的函数仍然是直线下降的----但是还是比直接PCA的分类效果好得多。

PCA方法寻找的是用来有效表示同一类样本共同特点的主轴方向，这对于表示同一类数据样本的共同特征是非常有效的。但PCA不适合用于区分不同的样本类。Fisher线性判别分析（FDA）是用于寻找最有效地对不同样本类进行区分的方向。其主要思想是考虑将d维空间中的点投影到一条直线上。通过适当地选择直线的方向，有可能找到能够最大限度地区分各类样本数据点的投影方向。