第10章 因子分析(FA)

1 简介

原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子

因子分析是主成分分析的推广，它也是多元统计分析中常用的一种降维方式

因子分析--->数据降维

2 基本思想

根据相关性大小把原始变量分组，使得同组内的变量之间相关性较高，而不同组的变量间的相关性则较低。每组变量代表一个基本结构，并用一个不可测的综合变量表示，这个基本结构就称为公共因子

3 数学模型

假设$p$个随机变量$X_i(i=1,2,...,p)$满足模型：

$$X_i={\mu }_i+{\alpha }_{i1}{F}_1+...+{\alpha }_{im}{F}_m+{\epsilon }_i(m\le p)$$

$$\{\begin{array}{c}{X}_1={\mu }_1+{\alpha }_{11}{F}_1+...+{\alpha }_{1m}{F}_m+{\epsilon }_1\\ X_2={\mu }_2+{\alpha }_{21}{F}_1+...+{\alpha }_{2m}{F}_m+{\epsilon }_2\\ ......\\ X_p={\mu }_p+{\alpha }_{p1}{F}_1+...+{\alpha }_{pm}{F}_m+{\epsilon }_p\end{array}$$

则称此式的模型为因子模型，用矩阵形式简记为：$$X=\mu +AF+\epsilon$$

其中，$F_i$为公共因子，是不可观测的变量，它们的系数${\alpha }_{ij}$称为载荷因子；$A=({\alpha }_{ij}{)}_{p\times m}$为因子载荷矩阵； ${\epsilon }_i$是特殊因子，是不能被前m个公共因子包含的部分

因子分析的可行性分析：

1. 相关系数矩阵【大部分相关系数都>0.3时可进行因子分析】
2. KMO(Kaiser-Meyer-Olkin)检验：检验变量之间的偏相关系数是否过小【此值>0.5时可进行因子分析】
3. Bartlett's检验：检验显著性水平(Sig.)【此值<0.05时可进行因子分析】
4. 变量共同度【较高时可进行因子分析】

因子分析模型的性质：载荷矩阵不是唯一的

3.1 公共因子及载荷矩阵

公共因子数目的两种确定依据：

• 碎石图
• 累积方差贡献率

因子载荷矩阵的统计性质：

1. 因子载荷${\alpha }_{ij}$：$\mathrm{cov}(X_i,F_j)={\alpha }_{ij}$，即$a_{ij}$是$X_i$和$F_j$的协方差(相关系数)
2. 变量共同度${h_i}^2$：因子载荷矩阵A中第i行元素的平方哈，记为${h_i}^2=\sum _{j=1}^m{\alpha }_{ij}^2(\mathrm{i}=1,2,...,\mathrm{p})$
3. 公共因子$F_j$方差贡献和$S_j$

因子载荷矩阵的三种估计方法：

1. 主成分分析法
2. 主因子法
3. 最大似然估计法

3.2 因子旋转(正交变换)

• 方差最大法：从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大
• 四次方最大法：使因子载荷矩阵中每一行的因子载荷平方的方差达到最大
• 等量最大法：把方差最大法和四次方最大法结合起来，求它们的加权平均最大

3.3 因子得分

因子得分就是公共因子在每一个样本点上的得分，由于$p>m$，所以不能得到精确值，只能通过估计

因子得分函数$$F_j=c_j+{\beta }_{j1}{X}_1+...+{\beta }_{jp}{X}_p,j=1,2,...,m$$

因子得分的两种估计方法：

• 巴特莱特法(加权最小二乘法)

• 回归分析法

4 步骤

1. 根据问题选取原始变量，对数据进行标准化处理
2. 计算相关系数矩阵，分析变量之间的相关性(较强)
3. 求解公共因子及载荷矩阵
4. 因子旋转(正交变换)
5. 计算因子得分