【机器学习】PCA算法原理

PCA算法原理

主成分分析（Components Analysis，PCA）是机器学习中最经典的降维方法，也是面试中的家常便饭，因而有必要认真梳理一遍PCA的原理，甚至需要手动推导一遍。

数据降维

在理解PCA的概念之前，我们先来认识一下什么是数据降维。降维就是用低维度的向量来表示原始高维度的特征。

例如：三维空间中分布在同一个平面上的一些点，用x,y,z三个轴来表示，就需要三个维度；而实际上，因为这些点是分布在一个平面上的，所以可以通过坐标系的旋转变换使得只需要x,y两个轴来表示这些点的数据关系，而且不会有任何损失，从而达到数据降维的目的。

降维的作用： 1.增大样本密度，可以缓解维数灾难

​ 2.减小计算开销

​ 3.去噪

PCA概念

PCA是数据降维的一种方式，旨在找到数据中的主成分，并利用这些主成分来表征原始数据。简单地说，就是将n维的特征映射到k维上（k<n），这k维的正交特征，就是主成分。

用周志华的《机器学习》书上的话来理解就是：对于正交特征空间中的样本点，如何用一个超平面（直线的高维推广）来对所有的样本进行恰当的表达？如果存在这样的超平面（我的理解就是由k维特征重构出的主成分），那么它应该具有这样的性质：

①最