主成份分析与因子分析的区别

参见
http://newgenerationresearcher.b ... 0/blog-post_29.html

主成份分析 (principal component analysis，简称PCA) 是在因素分析里面常看到的，但这个名词常被误用、混用，而且有时候统计软体里面所用的词汇也不一致，造成许多困扰。我也困扰了很久，这篇是防健忘笔记，有误请更正。

严格地说，主成份分析 (PCA) 与因素分析是利用不同的方法来减少变数量 (Jolliffe, 2010)，但很多教科书都把这当作是 factor analysis 的一个special case，统计软体也把 PCA 当作是一个 option，造成了很多误会。

PCA 的主要目的是将 p个变数，缩减到 m个主成份(principal components)，在这同时尽量保留p个变数的variation。如果这m个主成份可以直接解读，那就更好了。

因素分析的主要目的也是缩减变数，但采用的方式不一样。简单地说，因素分析的概念是：p个变数可以用m个factor所组成的线性关系表示。我不爱写公式，不过真的要写简单的话：

变数1 = b1* 因素1 + b2*因素2 + b3*因素3

这个model就像是一般的regression model一样，相较之下，PCA就没有一个explicit model。所以这就看出 PCA 与因素分析的不同了：因素分析有个model，而 PCA 并没有一个explicit model。

如果你懂得 PCA 与因素分析背后的数学运算，你可能还会发现到另外一个不同点。Jolliffe (2010, p158) 在书中提到：PCA 与因素分析都是呈现convariance matrix (或correlation matrix) 的一部分，但 PCA 着重在对角线的元素，而 factor analysis 则着重在非对角线的元素上。

另一个不同点是会得出几个主成份或是因素  (Jolliffe, 2010, p159)。根据 PCA 的算法，如果其中有一个变数独立于其它变数 (i.e., 此变数与其它变数相关度非常低)，会有一个PC对应这个变数，而这个 PC 几乎等同于此变数。相反地，因素分析的因素至少得解释两个以上的变数，所以是不可能会有这种单一变数的因素产生的情况。

其它的不同点，还请参照 Jolliffe (2010)的介绍。

最后，很多人看到这可能会问：那到底是因素分析好或是PCA好？这当然没有定论，而且这两者也不太能直接比较。那要怎么判断适合用因素分析还是PCA？这还得回到先前提过的区别。如果因素分析的model符合你资料特性，那就选因素分析，要不然则选择PCA。

参考文献

Jolliffe, I. T. (2010). Principal Component Analysis (2nd ed.). New York: Springer.

文章来自：已解决：因子分析法和主成分分析法是一回事吗？ - Stata专版 - 经管之家(原人大经济论坛)