斯坦福大学机器学习——因子分析(Factor analysis)

一、问题的提出

EM算法求解高斯混合模型一文中,我们的样本集 ,而样本的数量m远大于样本的维度n,因此,可以轻易的构造出高斯混合模型。

现在,我们再看下不同的情况:假如,或,我们将很难构建一个普通高斯模型,更别提高斯混合模型。这m个的数据仅仅是 的子空间,如果我们用这m个数据建立高斯模型,并对利用极大似然,对期望和方差进行参数估计。可得:

我们将发现协方差为奇异矩阵,即:,这样的话也都不存在,而这两者是多元正态分布概率密度函数的必要参数。因子分析将解决上述问题:

二、对的约束

假如我们没有足够的数据去对参数进行估计,可以通过对加以限制来解决。例如:假设协方差矩阵为对角阵,那么,很容易通过极大似然估计求出其值:


这里表示矩阵第j行j列的元素值。

如果对其进行进一步的约束,不仅为对角阵,而且对角线上所有元素均相等,即,那么对其进行极大似然估计得:

如果需要通过极大似然估计,构造一个非奇异、无约束条件的协方差矩阵,需要满足。如果满足上面的两个约束条件,那么仅仅需要满足。但构造对角阵意味着数据集相互独立,没有关联。因此下文会从高斯分布的边缘分布和条件分布开始,引入因子分析模型,该模型使用更多的参数以描述数据间的关联,并且不需要构造一个非奇异的矩阵。

三、高斯分布的边缘分布和条件分布

假设有多维随机变量:


其中:

再令,并且:

其中:逆对角元素存相互对称 。

根据协方差的定义,我们可以得到:

随机变量的边际分布为;若在给定的前提下,的条件分布为,其中:


下面介绍因子分析模型时会用到上述性质。

四、因子分析模型(factor analysis model)

在因子分析模型中,我们首先假设一个联合分布,其中:为隐随机变量。并且有:


其中:,并且为对角阵,

上述假设可以解释为:每个点都是由k维正态随机变量生成。首先,通过由k维映射到n维,然后,再将协方差为的随机噪声加入。

其等价于:



其中,和z相互独立。

假如随机变量z和x的联合高斯分布可以写成如下形式:


我们将求出其期望和协方差

由于,因此,


那么:


由上文可知:

下面对其分别求解:



因此,随机变量z和x的联合高斯分布为:


随机变量x的边际分布为,因此,给定的训练集,我们就可以得出其对数的似然方程:


为了得到最大似然估计,需要对似然方程求最大值。然而,求解该方程的最大值极其困难,因此我们可以采用EM算法对极大似然函数进行求解。

五、EM算法求解因子分析

条件概率,根据第二三节的结论可以推出:



根据EM算法的定义可知,E-step为:

M-step需要最大化:

这里的下标是指以为随机变量,为密度函数的期望。

我们忽略与带估计参数无关的项,实际就是求下式的最大值:

下面我们分别求出待估参数:

(1) 
为求出上式关于的偏导,可将上式整理,去除与无关项,可得等价式:


上式第2行至第3行根据trAB=trBA, 第3行至第4行根据
令上式为0,可得:


解得:

根据对的定义,,因此可得:



将上述两式结果带入可得:

(2)
将M步的公式对求偏导,可得:

 

(3)


再令,即可得到的值。

六、总结

当样本由混合高斯模型得来,并且样本的数量m小于样本的维度n时,由于协方差矩阵为奇异的,因此无法直接通过极大似然进行参数估计。因子分析模型通过引入隐随机变量和随机噪声,构造样本与隐随机变量的联合分布,该联合分布的协方差矩阵为非奇异的。然后再利用EM算法进行参数估计,建立模型。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值