pca主成分分析_没有公式，深入浅出了解PCA主成分分析！

对于PCA：Principal Components Analysis 主成分分析维基百科是这样定义的：

在多元统计分析中，主成分分析(英语：Principal components analysis，PCA)是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。

怎么样？一脸懵逼。

懵逼

“逃学博士”觉得吧，很多专业知识其实就是不断的创造让人望而生畏的名词，然后显得特别高大上。

本文我们一起来讲一讲 PCA分析吧！一步一步来！

01 数据降维

先从简单的来说，二维降一维。比方说我们取 房价为例子。

房价与住房面积

仔细观察，我们发现房价和房屋面积是呈正相关性的。房屋面积增大，房屋总价上涨。

房价与住房面积

是否我们一定要记录房价和房屋面积两列数据呢？既然它们本身就是有相关性的，有没有办法把两列数据，降维一列呢？

房价与住房面积

简单来说，做一条趋势线。每个点距离原点(0,0)的距离则可以很简单的通过勾股定理求得。如果我们将坐标系转变一下，以上图趋势线为新的 x轴(主元1)，纵轴为垂直的新y轴(主元2)。

PCA分析

上述房价和房屋面积的数据就成功的从二维降到了一维，因为主元2上的值都是0。因此，PCA主元分析，主元1是最重要的，主元2不重要(可以省略)。这就是PCA分析的主要过程。

02 PCA分析

但是现实中的数据不可能会完美线性。一般是这样的：

图片来源：stackexchange

总体上来说，x和y的数据呈正相关性。

PCA分析

同样的方式，我们将数据PCA分析，取得主元1和主元2 的新坐标系。我们可以看出，数据点在主元1轴上振动幅度更大，在主元2轴上变化不大。那么，主元1是重要的，主元2次要。

换句话说，如果我们要进行数据降维，保留主元1，省略主元2是可以最大限度的保留原有数据的完整性的。

图片来源：stackexchange

怎么去找到最主要的主元呢？

两个原则：

• Variation of Values along the line is maximal (数据变化幅度最大)；
• The error is minimal (误差最小)。

上图中，我们会很容易发现满足上述条件的线在什么位置(线性规划也是这个道理)。

图片来源：stackexchange

03 总结

具体的计算公式和过程需要结合我之前的文章：

如何理解矩阵的特征向量和特征值？

将协方差矩阵转变成对角矩阵。有兴趣的同学可以深入了解。很多时候，知识点背后的原理并不难，难的是怎么去理解。有很多同学的方法是，题海战术。我认为不可取，仔细揣摩，弄通弄懂之后，题目的变化就难不倒我们了。

“逃学博士”：理工科直男一枚，在冰天雪地的加拿大攻读工程博士。闲暇之余分享点科学知识和学习干货。