主成分分析和因子分析

1 主成分分析(PCA)

主成分分析：将原始特征（变量）按一定的线性组合而成新的若干个变量，这些若干个变量就称为主成分，通常主成分个数少于自变量个数，从而达成降维目的。

 

 

主成分分析与SVD都是可以降维，那么它们的区别在哪？区别在于PCA需要先计算协方差矩阵，接着通过协方差矩阵进行与SVD相似的步骤；而SVD可以直接对矩阵进行分解。

小知识：y=ax+b, x为自变量，y为因变量（因x变化而变化，自身不会变化） 

 

2 因子分析

 

因子分析：将相关自变量合成一个因子，使得因子内部的自变量相关性最大，因子间自变量相关性最小。它也可以达到降维目的。

主成份与因子的区别在于：

1）主成份是由所有自变量线性组合而成，而自变量间的相似性不明显；因子是内自变量间的相似性比较明显，相似性不明显的自变量在该因子下占比很少。

2）因子分析的结果是指标由因子线性组合而成；主成分分析的结果是主成分由指标线性组合而成。

如下所示的因子分析模型：

3 SVD

因子分析与主成分分析的异同点:

1  相同点
都对原始数据进行标准化处理；都消除了原始指标的相关性对综合评价所造成的信息重复的影响; 构造综合评价时所涉及的权数具有客观性; 在信息损失不大的前提下，减少了评价工作量。

2 不同点

公共因子比主成分更容易被解释; 因子分析的评价结果没有主成分分析准确; 因子分析比主成分分析的计算工作量大。
主成分分析仅仅是变量变换，而因子分析需要构造因子模型。
主成分分析:原始变量的线性组合表示新的综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。