matlab rotatefactors,第十二章-matlab--因子分析.docx

第十二章 因子分析(贵州大学 杨虎 统计)

引出因子分析的定义：作个比喻，对面来了一群女生，我们一眼就能够分辨出孰美孰丑，这是判别分析；并且我们的脑海中会迅速的将这群女生分为两类；美的一类，丑的一类，这是聚类分析。我们之所以认为某个女孩漂亮，是因为她具有漂亮女孩所具有的一些共同点，比如漂亮的脸蛋，高挑的身材，白皙的皮肤，等等。其实这种从研究对象中寻找公共因子的办法就是因子分析(Factor Analysis)。

因子分析也是利用降维的思想，把每一个原始变量分解成两部分，一部分是少数几个公共因子的线性组合，另一部分是该变量所独有的特殊因子，其中公共因子和特殊因子都是不可观测的隐变量，我们需要对公共因子作出具有实际意义的合理解释。因子分析的思想源于1904年查尔斯，斯皮曼(charles spearman)对学生考试成绩的研究，目前因子分析已经在很多领域得到广泛应用。

本章主要内容包括：因子分析的理论简介，因子分析的matlab实现，因子分析具体案例。

12.1因子分析简介

12.11 基本因子分析模型

设P维总体的均值为协方差矩阵为，相关系数矩阵为。因子分析的一般模型为

(12.1)

其中，为m个公共因子，是变量所独有的特殊因子他们都是不可观测的隐变量。称为变量在公共公共因子上的截荷，它反映了公共因子对变量的重要程度，对解释公共因子具有重要的作用。可以看出模型(12.1)与多重线性回归模型有些相似，但它与多重线性回归模型有着本质的区别，因为公共因子和特殊因子都是不可观测的隐变量。

式(12.1)还可以写成矩阵形式

(12.2)

其中，称为因子载荷矩阵，为公共因子向量，为特殊因子向量。通常对模型(12.1)和(12.2)作如下假定：

公共因子不相关，且具有单位方差，即，；

特殊因子彼此不相关，即，；

公共因子和特殊因子彼此不相关，即。

12.1.2 因子模型的基本性质

1，的分解，对式(12.2)两边求协方差矩阵，并注意到模型的假定，可得

若x的各分量已经标准化，则

模型不受单位影响

对x做换变换其中则模型(12.2)可以变形为：

这仍是一个因子模型，其中，，。

3因子载荷阵不唯一

设T为一个正交矩阵，则有：

令,则是由因子经正交旋转后得到的新因子，是相应的因子载荷阵。当公共因子不好解释时，就可以通过因子旋转得到新的因子和载荷阵，使得新的因子和载荷阵，使得新因子具有更好的实际意义，便于解释。

因子载荷矩阵是原始变量和公共因子的协方差矩阵

根据模型假设及协方差的性质可得

若的各分量已经标准化，则：

5共性方差与特殊方差

求式(12.1)中变量的方差可得：

(12.3)

令，则反映了公共因子对变量的影响，可看成公共因子对变量的方差贡献，称为共性方差。特殊因子的方差则反映了特殊因子对变量的方差贡献，称为特殊方差。每个原始变量的方差都被分成了共性方差和特殊方差两部分。

若的各分量已经标准化，则

(12.4)

6公共因子重要性的度量

将式(12.3)关于求和可得：

令，则反映了第个公共因子对个原始变量总方差的贡献，他是衡量公共因子重要性的一个度量，值越大，说明第个公共因子越重要，称为第个公共因子的贡献率，若的各分量已经标准化，则的贡献率为。

因子载荷阵和特殊方差的估计

求解因子模型的关键是估计因子载荷阵和特殊方差阵，常用的估计方法有主成分法，主因子法和最大似然法。

主成分法

设为取自总体的样本，记样本协方差矩阵和样本相关系数矩阵分别为

其中为样本均值。将作为的估计作为的估计。

从出发求解主成分，设为的个特征值为相应的正交单位特征向量。根据矩阵的谱分解，可作如下分解

(12.5)

当前个主成分的累积贡献率达到一个比较高的水平(例如85%以上)时，可由式(12.5)的前项给出载荷的估计，由后项给出特殊方差矩阵的估计，即

(12.6)

其中，。

由于是对角阵，所以式(12.6)的第一行只能是约等式，为了保证和的对角线元素相等，可得。

上面基于主成分分析求出的和是因子模型的一个解，称为主成分解。的第列元素平方和等于，它反映了第个公共因子对个原始变量总方差的贡献。若需考虑更多(多于个)公共因子，则只需考虑新的公共因子的载荷的估计，前面个公共因子的载荷阵不变。若原始变量的单位和数量级别差距很大时，可以从样本相关系数矩阵出发进行求解，此时

记，称为残差矩阵，的对角元素全为0，其余元素满足

上式的证明略。它说明了当后个特征值平方和较小，即前个公共因子对个原始变量总方差的贡献