因子分析Factor analysis

因子分析是一种在数据维度高于样本数量的情况下,通过构建k维因子来解释d维数据的方法。EM算法在此过程中用于估计参数,通过E-Step和M-Step的迭代优化,最终求解因子载荷矩阵和因子。该文介绍了因子分析的模型、概率形式,并详细推导了EM算法在因子分析中的应用过程。
摘要由CSDN通过智能技术生成
简介:本文主要介绍EM算法求解因子分析问题

因子分析Factor analysis

在文章  EM算法 求解混合高斯模型时,通常假设拥有足够多的样本去构造这个混合高斯分布,即样本数量n要远大于样本维数d:  如果样本数量小于样本维数,那么协方差矩阵 是奇异矩阵,那么 都无法计算。在因子分析中,一个d维的向量通常由一个k维向量生成,通常k远小于d。具体模型如公式1所示:

公式1

上式中d x k维矩阵 称为因子载荷矩阵factor loading matrix,k维向量z称为因子factors,d维向量是满足均值为0,对角协方差矩阵的高斯分布的噪声,那么根据公式1该模型写成概率形式如公式2所示:

公式2

该模型如图1所示:

图1 因子分析生成模型

根据 Pattern Recognition and Machine Learning 已知公式2可得x的边缘概率和已知z的条件概率如公式3和公式4所示(详见原书公式2.113-2.117):

公式3

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值