主成分分析与因子分析有相似之处,也有明显区别,以下是对主成分分析和因子分析进行的一个简单比较。主成分分析基本思想
主成分几何意义及求解
主成分分析优缺点
分析步骤
因子分析基本思想
与主成分分析的区别和联系
分析步骤
【1】主成分分析——基本思想
主成分分析(Principal Component Analysis,PCA)通过将原始变量转换为原始变量的线性组合(主成分),在保留主要信息的基础上,达到简化和降维的目的。
主成分与原始变量之间的关系:主成分是原始变量的线性组合
主成分的数量相对于原始数量更少
主成分保留了原始变量的大部分信息
主成分之间相互独立
【2】主成分分析——几何意义及求解
通过旋转变换,将分布在x1,x2坐标轴上的原始数据,转换到F1,F2坐标轴表示的坐标系上,使得数据在F1轴上离散程度最大,此时,可以忽略F2轴,仅通过F1轴就可以表示数据的大部分信息,从而达到降维的目的。
不同的线性变换,得到的Fi统计特性不同,为得到较好的效果,我们希望主成分之间相互独立,同时方差尽可能得大,即
求解以上公式,得
因此,我们只需要对协方差矩阵∑求特征值λ及特征向量ui,即可构成主成分分析的解。
由此可知,主成分分析是把p个随机变量的方差分解为p