【十四】主成分分析

因子分析的EM算法 EM Algorithm for Factor Analysis

这一部分的内容详见上一讲后半部分的讲解，在此不再给出

主成分分析 Principal Components Analysis

我们讨论因子分析法，是为了使用一种方法，将高维的训练数据映射到低维空间中去，从而达到降维的作用。在因子分析法中，我们认为n维的训练点是通过首先生成d维的点，再以该点为中心服从高斯分布，并加上一定的噪声。因子分析是以概率模型为基础，使用EM算法进行参数估计实现的。在本节中，我们讨论的主成分分析方法（PCA）也是使用将n维向量近似在d维上的方法，但这一方法相对更直接，只需计算特征向量即可，且并不需要使用EM算法，因此具有很广的应用范围。

主成分分析方法考虑了各参数之间的相关性，比如在一个向量中，可能两个参数只是不同单位制下对同一物体的度量，因此这两个参数表达的内容是相同的，但由于读数误差、近似误差等原因，这两个参数只能进行近似的转化，则一个n维的向量变成了n-1维，达到了降维的效果。但这一方法是通过我们人工分析的，我们希望有一种自动识别的方法进行同样的操作。

如我们希望自动检测出上图中兴趣和能力之间的线性关系，即发现图中所示的方向u1。此时我们将介绍PCA算法，但在进行算法之前，