因子分析的EM算法 EM Algorithm for Factor Analysis
这一部分的内容详见上一讲后半部分的讲解,在此不再给出
主成分分析 Principal Components Analysis
我们讨论因子分析法,是为了使用一种方法,将高维的训练数据映射到低维空间中去,从而达到降维的作用。在因子分析法中,我们认为n维的训练点是通过首先生成d维的点,再以该点为中心服从高斯分布,并加上一定的噪声。因子分析是以概率模型为基础,使用EM算法进行参数估计实现的。在本节中,我们讨论的主成分分析方法(PCA)也是使用将n维向量近似在d维上的方法,但这一方法相对更直接,只需计算特征向量即可,且并不需要使用EM算法,因此具有很广的应用范围。
主成分分析方法考虑了各参数之间的相关性,比如在一个向量中,可能两个参数只是不同单位制下对同一物体的度量,因此这两个参数表达的内容是相同的,但由于读数误差、近似误差等原因,这两个参数只能进行近似的转化,则一个n维的向量变成了n-1维,达到了降维的效果。但这一方法是通过我们人工分析的,我们希望有一种自动识别的方法进行同样的操作。
如我们希望自动检测出上图中兴趣和能力之间的线性关系,即发现图中所示的方向u1。此时我们将介绍PCA算法,但在进行算法之前,