因子分析法之因子旋转

因子分析法之因子旋转

1.因子旋转及其意义

建立因子分析模型的目的不仅是要找出公因子以及对变量进行分组，更重要的是要知道每个公因子的意义，以便对实际问题做出科学分析。因子旋转即对因子载荷矩阵A，用一个正交矩阵T右乘A实现对因子载荷矩阵的旋转（一次正交变换即对应坐标系的一次旋转），旋转后因子载荷矩阵结构简化，更容易对公因子进行解释。

结构简化就是重新分配每个因子所解释方差的比例，使每个变量仅在一个公因子上有较大的载荷，在其他公因子上的载荷较小，即是使因子载荷矩阵每行或者每列元素的平方值向0与1两极分化。

2.几个重要概念

2.1.因子载荷

因子载荷是连接变量与公因子的纽带，例如标准化处理的变量X=（x₁,x₂…x_p）,因子分析的一般模型为：
x₁=a₁₁f₁+a₁₂f₂+…+a_1mf_m+$ϵ$₁
x₂=a₂₁f₁+a₂₂f₂+…+a_2mf_m+$ϵ$₂
…
x_p=a_p1f₁+a_p2f₂+…+a_pmf_m+$ϵ$_p

a_ij即因子载荷，f₁,f₂…f_m是公因子，$ϵ$_i称为特殊因子，实际分析时候可以忽略不计。

2.2.变量共同度

变量共同度也称为公因子方差，表达式为：
$h_i^2$＝$\sum _{j=1}^m{a}_{ij}^2$
反映了m个公因子对原始变量$x_i$总方差的解释。

2.3.公因子的方差贡献

公因子的方差贡献，等于该因子有关的因子载荷的平方和，即：
$g_j^2$＝（$\sum _{i=1}^p{a}_{ij}^2$）
这里按标准化之后的变量X来计算，该值越高说明公因子的重要程度越高。

3.方差最大旋转法（Varimax）

3.1 基本原理

方差最大旋转法从简化因子载荷阵的每一列出发，使和每个因子有关的载荷平方的方差最大，当只有少数几个变量在某个因子上有较高的载荷时候，对因子的解释最简单。
现假设因子分析模型为X=A·F＋$ϵ$ ，$\Gamma$是一正交阵，因子载荷矩阵正交变换后：
B=A$\Gamma$=$(b_{ij})$${}_{p\times p}$=（$\sum _{i=1}^p{a}_{il}$${\gamma }_{lj}$）
可求得正交变换后的公因子共同度不变，因子方差贡献发生变化：
$g{{}_j^{\ast }}^2$＝$\sum _{i=1}^m{g}_l^2$${\gamma }_{lj}{}^2$
为实现使各个因子上的载荷两极分化，使得因子载荷之间差异极大化，须让描述差异性的统计指标—方差极大化。

每个变量在某个因子上的载荷$b_{ij}$的平方是该因子对该变量共同度的贡献，各个变量的共同度一般互不相同，若某个变量的共同度较大，则这个变量分配在各个因子上的载荷就大一些，反之小一些。

因此，在计算某一因子上的载荷的方差时，先将各个载荷的平方除以共同度以消除各个变量共同度大小不同的影响，类似标准化的处理。
然后计算标准化后载荷的方差。对于某个因子$f_a$，可定义其上的载荷间的方差为：
$Q_a$= $\frac{1}{p}$$\sum _{i=1}^p[(\frac{b_{ia}^2}{h_i^2})-\frac{1}{p}\sum _{i=1}^p(\frac{b_{ia}^2}{h_i^2}){]}^2$
其中，取$b_{ia}^2$是为了消除$b_{ia}$符号不同的影响。全部公因子各自载荷之间的总方差即是：
Q=$\sum _{a=1}^m{Q}_a$= $\frac{1}{p}$$\sum _{a=1}^m$$\sum _{i=1}^p[(\frac{b_{ia}^2}{h_i^2})-\frac{1}{p}\sum _{i=1}^p(\frac{b_{ia}^2}{h_i^2}){]}^2$
现在问题就转变为寻找一个正交矩阵$\Gamma$，对已知载荷矩阵A正交变换后，新的因子载荷矩阵B=A$\Gamma$ 中的元素能使$Q$取极大值。

3.2 计算方法

先以两个因子的因子分析模型为例，对两因子进行平面正交旋转，假设因子载荷矩阵如下：
$$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\\ ⋮& ⋮\\ a_{p1}& a_{p2}\end{array}\right]$$
正交转换矩阵的形式为：
$$\Gamma =\left[\begin{array}{cc}cos\varphi & -sin\varphi \\ sin\varphi & cos\varphi \end{array}\right]$$
经过正交转换后的因子载荷矩阵为：
 B=A$\Gamma$
$$=\left[\begin{array}{cc}{a}_{11}cos\varphi +a_{12}sin\varphi & -a_{11}sin\varphi +a_{12}cos\varphi \\ ⋮& ⋮\\ a_{p1}cos\varphi +a_{p2}sin\varphi & -a_{p1}sin\varphi +a_{p2}cos\varphi \end{array}\right]$$$$=\left[\begin{array}{cc}{b}_{11}& b_{12}\\ ⋮& ⋮\\ b_{p1}& b_{p2}\end{array}\right]$$
经此转换，目的在于希望使载荷矩阵的每一列元素按其平方值尽可能大或尽可能小，即向两极分化，因子贡献越分散越好。实际即希望将变量分成两部分，一部分主要与第一因子有关，另一部分与第二因子有关，就是要求（$b_{11}^2$,…,$b_{p1}^2$），（$b_{12}^2$,…,$b_{p2}^2$）这两组数据的方差尽可能大，两列方差不妨设为$V_1$,$V_2$。
现在要求总的方差达到最大，即要求$G$=$V_1$+$V_2$达到最大值，考虑$G$对$\varphi$的导数，求出最大值。

 当公因子数目多于2时(即m>2时)，逐次对每两个公因子进行上述旋转。此时共需要进行$C_m^2$=$m(m-1)/2$次旋转，旋转之后可以进行第二轮$C_m^2$次配对旋转。依次进行直至方差改变不大时，停止旋转（即方差收敛到某一个极限）。

4.四次方最大旋转法（Quartimax）

 四次方最大旋转法是从简化载荷矩阵的行出发，通过旋转使每个变量只在一个因子上有较大载荷，在其他因子上载荷尽可能小。

     该方法最终简化准则为：
                   $Q$=$\sum _{i=1}^p$$\sum _{j=1}^m{b}_{ij}^4$

5.等量最大旋转法（Equamax）

  该方法是将方差最大法与四次方最大法结合起来求$Q$和$G$的加权平均最大。最大化目标函数为：
               $E$=$\sum _{i=1}^p$$\sum _{j=1}^m{b}_{ij}^4$+$\gamma$$\sum _{j=1}^m$$(\sum _{i=1}^p{b}_{ij}^2)$$/p$
  权数$\gamma$等于$m/2$，与因子的数目有关。

6.斜交旋转

斜交旋转中，因子之间不一定是正交的，旋转后新公因子更容易解释，斜交旋转计算量大，查阅资料书籍中均提到斜交旋转使用不多。
主要有两种方法：Directoblimin法与Promax法，Promax法相对较为常用。
Promax具体旋转方法与方差极大的正交旋转相同，但变换矩阵P的选择并非是正交矩阵，是一般的非奇异矩阵。Promax法变换矩阵P的选择的方法暂时还未找到。
Directoblimin法相关暂时未找到。

7.旋转方法的选择

  对于正交旋转与斜交旋转的选择上，如果因子分析的主要目标是进行数据简化，将很多变量浓缩为几个因子，因子确切含义并不重要时优先考虑正交旋转；若研究目标是为了得到几个理论上有意义的因子，优先考虑斜交旋转。
正交旋转优点：因子之间不相关，提供信息不会重叠。
        缺点：研究者迫使因子之间不相关，但现实中，很少有完全不相关的变量。
  故理论上，斜交旋转优于正交旋转，但是斜交旋转中因子之间的斜交程度受到使用者定义参数的影响，而且斜交旋转中允许因子之间存在一定相关性。由此斜交旋转优越性大大削弱，正交旋转应用更为广泛。

8.参考资料

《多元统计分析与SPASS应用》华东理工大学出版社，汪东华编著。
《应用多元统计分析》北京大学出版社，李卫东编著。
《应用多元统计分析》北京大学出版社，[德]沃尔夫冈·哈德勒 [比]利奥波德·西马著，陈诗一 译。