机器学习之主成分分析PCA及代码示例

一、主成分分析（PCA）

主成分分析（Principal Component Analysis）是一种常用的降维算法，可通过线性组合的方法将多个特征综合为少数特征，且综合后的特征相互独立，又可以表示原始特征的大部分信息。

1. 主成分和方差

观察以下的几个样本的特征向量X：

x1  x2  x3  x4  y
0   10  -2  2 
0   10  -3  3
0   10  -4  4

可以看出上述样本有四维特征，假设对这几个样本进行回归分析，可以得到 y = w1x1 + w2x2 + w3x3 + w4x4 + d , 其中 wi 为各个特征的系数，d为常数。

可以发现，因为 x1、x2 两个特征在样本中的特征值没有变化，因此不管这两个特征的系数w1、w2是多少，w1x1和w2x2这两项可以用常数d的改变来代替；对于 x3、x4 这两个特征，它们可以合并为同一个特征。因此上述样本的四维特征可以用一个维度来代替：

z1 y
2  
3  
4  

因此，特征z1可以看作样本的一个主成分。而PCA就是对样本的主成分进行分析来到达降维的效果。通常来说，主成分可显示出样本在某个特征上的最大差异，这种差异的大小可以使用方差来表示。

2. 主成分分析的几何意义和主方向

如下图所示：四个样本点在原始特征x1、x2上进行分布，可将这些样本点投影映射到 z1 上的维度。在 z1 维度上，样本间表现出了较大的差异性，而若在 z2 维度上投影，样本间表现的差异性在这个维度上会少很多。

将能让样本点方差最大的直线方向称为主方向 。

为了使样本点在 主 方向上分散得最开，即在 主 方向上方差最大，一般需要对样本进行中心化，即样本点的每一个维度上的值减去所有样本点在这个维度上的值的总和的平均值。

二、PCA算法的推导

1. 投影和内积

由上可知，我们需要寻找样本点的主方向 ，即将m个样本值投影到主方向上，得到m个位于主方向上的点，计算m个投影后样本点的方差。

由图可知投影的矢量长度 ，而 向量 和 向量 的内积为 。

又因为我们只需要知道 主方向 的方向，所以可以令 为单位向量，即 。

因此计算投影 d 可以转换为 样本向量 与主方向