10 因子分析（进阶版）

10 因子分析（进阶版）

标签： 机器学习与数据挖掘
（此篇的R代码对应本博客系列《11 R语言手册（第四站 降维方法）》）

1.因子分析定义

  有p个成分的观测随机向量X，有均值$\mathbf{\mu }$和协方差矩阵$\Sigma$。因子模型要求X是线性依赖于几个不能观测的称之为公共因子的随机变量$F_1,F_2,...,F_m$和p个附加的称之为误差或有时也称为特殊因子的变差源${\epsilon }_1,{\epsilon }_2,...,{\epsilon }_p$。具体地，因子分析模型是：
$$\begin{gathered} X_1-{\mu }_1=l_{11}{F}_1+l_{12}{F}_2+...+l_{1m}{F}_m+{\epsilon }_1 \\ {X}_2-{\mu }_2=l_{21}{F}_1+l_{22}{F}_2+...+l_{2m}{F}_m+{\epsilon }_{\begin{array}{c}\begin{array}{c}2\end{array}\end{array}} \\ ...... \\ {X}_p-{\mu }_p=l_{p1}{F}_1+l_{p2}{F}_2+...+l_{pm}{F}_m+{\epsilon }_p \end{gathered}$$
或者直接写成矩阵的形式：
$${\mathbf{X}-\mathbf{\mu }}_{\left(p\times 1\right)}=\underset{\left(p\times m\right)}{L}\underset{\left(m\times 1\right)}{F}+\underset{\left(p\times 1\right)}{\epsilon }$$

  我们称系数$l_{ij}$为第$i$个变量在第$j$个因子上的载荷，故，矩阵L是因子载荷阵。
  注意，第$i$个特殊因子${\epsilon }_i$只与第$i$个响应$X_i$相联系。而且$p$个差$X_1-{\mu }_1,X_2-{\mu }_2,...,X_p-{\mu }_p$用$p+m$个随机变量$F_1,F_2,...,F_m,{\epsilon }_1,{\epsilon }_2,...,{\epsilon }_p$表达，这些是不能被观测到的。
  因此没有办法从$X_1,X_2,...X_P$这些观测值来直接确认这个因子模型。所以我们通过对随机向量F,和$\mathbf{\epsilon }$作某些附加假设后，我们可以推出某种协方差关系。
$$\begin{gathered} E\left(F\right)=\text{0,}Cov\left(F\right)=E\left[F{F}^{\prime }\right]=\underset{\left(m\times m\right)}{I} \\ E\left(\epsilon \right)=\underset{\left(p\times 1\right)}{0},Cov\left(\mathbf{\epsilon }\right)=E\left[\mathbf{\epsilon }{\mathbf{\epsilon }}^{\prime }\right]=\underset{\left(p\times p\right)}{\Psi }=\left[\begin{array}{cccc}l{\psi }_1& 0& \cdots & 0\\ 0& {\psi }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\psi }_p\end{array}\right] \end{gathered}$$
且，F与$\mathbf{\epsilon }$独立，故
$$Cov\left(\mathbf{\epsilon },\mathbf{F}\right)=E\left(\mathbf{\epsilon }{\mathbf{F}}^{\prime }\right)=0$$
这样，这些假设和我们的因子分析模型就能构成正交因子模型

正交因子模型推出X的协方差结构：
$$\begin{gathered} \Sigma =Cov\left(\mathbf{X}\right) \\ =E\left(\mathbf{X}-\mu \right){\left(\mathbf{X}-\mu \right)}^{\prime } \\ =\mathbf{L}E\left(\mathbf{F}{\mathbf{F}}^{\prime }\right){\mathbf{L}}^{\prime }+E\left(\mathbf{\epsilon }{\mathbf{F}}^{\prime }\right){\mathbf{L}}^{\prime }+\mathbf{L}E\left(\mathbf{F}{\mathbf{\epsilon }}^{\prime }\right)+E\left(\mathbf{\epsilon }{\mathbf{\epsilon }}^{\prime }\right) \\ =\mathbf{L}{\mathbf{L}}^{\prime }+\Psi \end{gathered}$$
根据上式的推导，也有：
$$\begin{gathered} \left(\mathbf{X}-\mathbf{\mu }\right){\mathbf{F}}^{\prime }=\left(\mathbf{L}\mathbf{F}+\mathbf{\epsilon }\right){\mathbf{F}}^{\prime } \\ =\mathbf{L}\mathbf{F}{\mathbf{F}}^{\prime }+\mathbf{\epsilon }{\mathbf{F}}^{\prime } \end{gathered}$$
$$\begin{gathered} Cov\left(\mathbf{X},\mathbf{F}\right)=E\left(\mathbf{X}-\mathbf{\mu }\right){\mathbf{F}}^{\prime } \\ =E\left(\mathbf{X}-\mathbf{\mu }\right){\mathbf{F}}^{\prime } \\ =\mathbf{L}E\left(\mathbf{F}{\mathbf{F}}^{\prime }\right)+E\left(\mathbf{\epsilon }{\mathbf{F}}^{\prime }\right) \\ =\mathbf{L} \end{gathered}$$
总结一下：

由$m$个公共因子贡献的第$i$个变量的方差部分，叫做第$i$个共性方差。属于特殊因子的$ Var\left( X_i \right) =\sigma {ii} $部分，常称为独特方差或特殊方差。用$h{i}^{2}$出记第$i$个共性方差，从我们看到：