多元统计之因子分析模型及Python分析示例

1. 简介

• 因子分析是一种研究观测变量变动的共同原因和特殊原因, 从而达到简化变量结构目的的多元统计方法.
• 因子分析模型是主成分分析的推广, 也是利用降维的思想, 将复杂的原始变量归结为少数几个综合因子的一种多变量统计分析方法.

1.1 应用

• 寻求变量的基本结构, 简化变量系统.
• 用于分类, 根据因子得分值, 在因子轴所构成的空间中将变量或者样本进行分类 (能够分析样品间差异的原因).

1.2 类型

• R型因子分析: 研究变量之间的相关关系.
• Q型因子分析: 研究样本之间的相关关系.

2. 因子分析模型

• 因子分析模型主要涉及矩阵的相关运算.
• 在日常分析中使用最多的就是 R 型因子分析, 下面也将主要介绍 R 型因子的分析模型, 可以对比 Q 型因子分析模型加强对模型的理解.

2.1 因子分析的数学模型

2.1.1 R 型因子分析模型

• 概述:
  • R型因子分析是将每一个变量都表示成公共因子的线性函数与特殊因子之和, 即
  \[X_i = a_{i1}F_1 + a_{i2}F_2 + \cdots + a_{im}F_m + \epsilon_i, \quad (i=1,2,\cdots, p) \tag{2.1.1-1} \]
  \(F_1,F_2,\cdots,F_m\)称为公共因子, \(\epsilon_i\)称为\(X_i\)的特殊因子。该模型可用矩阵表示为：
  \[X = AF + \epsilon \]
  \[\begin{bmatrix} X_1 \\ X_2 \\ \vdots \\ X_p \end{bmatrix} = \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_p \end{bmatrix} + A_{p \times m}\begin{bmatrix} F_1 \\ F_2 \\ \vdots \\ F_m \end{bmatrix} \tag{2.1.1-2} \]
  • 构造模型满足:
    • \(m \le p\)
    • \(Cov(F, \epsilon) = 0\), 即公共因子与特殊因子是不相关的
    • \(D_F = D(F) = I_m\), 即各个公共因子不相关且方差为1
    • 各个特殊因子不相关, 方差不要求相等
    \[D_{\epsilon} = D(\epsilon) = \begin{bmatrix} \sigma_1^2 & & & 0 \\ & \sigma_2^2 & & \\ & & \ddots & \\ 0 & & & \sigma_p^2 \end{bmatrix}\]
    \[D_{\epsilon} = D(\epsilon) = \begin{bmatrix} \sigma_1^2 & & & 0 \\ & \sigma_2^2 & & \\ & & \ddots & \\ 0 & & & \sigma_p^2 \end{bmatrix}\]
  • 公共因子(潜在因子)是不可观测变量且只存在于某种理论意义之中, 可理解为在高维空间中的互相垂直的m个坐标轴。虽然潜在变量不能直接测得, 但它一定与某些可测变量有着某种程度的关联。

2.1.2 Q 型因子分析 (因子得分)

• 概述:
  • 类似地, Q 型因子分析数学模型可表示为:
  \[X_i = a_{i1}F_1 + a_{i2}F_2 + \cdots + a_{im}F_m + \epsilon_i, \quad (i=1,2,\cdots, n) \tag{2.1.1-3} \]
  • Q型因子分析与R型因子分析模型的差体现在\(X_1, X_2, \cdots, X_n\)表示的是n个样品。

2.2 主成分分析与因子分析的异同

• 相同点:
  • R 型或 Q 型因子分析都用公因子 F 代替 X, 一般要求\(m<p, m<n\), 因此因子分析与主成分分析一样, 也是一种降低变量维度数的方法.
  • 因子分析求解过程同主成分分析类似, 也是从一个协方差阵出发的.
• 区别:
  • 主成分分析的数学模型本质上是一种线性变化, 将原始坐标变换到变异程度大的方向, 突出数据变异的方向, 归纳重要信息。
  • 因子分析从本质上看是从显在变量去 "提炼" 潜在因子的过程。并且因子的形式也不是唯一确定的。一般来说, 作为 "自变量" 的因子\(F_1,F_2,\cdots,F_m\)是不可直接观测的.

2.3 因子载荷阵

2.3.1 因子载荷阵不唯一的原因

1. 变量X的协差阵\(\Sigma\)的分解式为

\[\begin{aligned} D(X)  = D(AF + \epsilon) = E[(AF + \epsilon)(AF + \epsilon)'] \\  = AE(FF')A' + AE(F\epsilon') + E(\epsilon F')A' + E(\epsilon\epsilon') \\  = AD(F)A' + D(\epsilon) \\  = AA' + D(\epsilon) \end{aligned} \]

如果X为标准化的随机向量, 则\(\Sigma\)就是相关矩阵\(R = (\rho_{ij}), 即R