因子分析Factor analysis

最新推荐文章于 2022-01-18 20:29:49 发布

CCRush

最新推荐文章于 2022-01-18 20:29:49 发布

阅读量2.9k

点赞数 1

分类专栏：机器学习文章标签： machine learning pattern recognition 迭代 algorithm 算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ccrush/article/details/16355649

版权

因子分析是一种在数据维度高于样本数量的情况下，通过构建k维因子来解释d维数据的方法。EM算法在此过程中用于估计参数，通过E-Step和M-Step的迭代优化，最终求解因子载荷矩阵和因子。该文介绍了因子分析的模型、概率形式，并详细推导了EM算法在因子分析中的应用过程。

摘要由CSDN通过智能技术生成

简介：本文主要介绍EM算法求解因子分析问题

因子分析Factor analysis

在文章 EM算法求解混合高斯模型时，通常假设拥有足够多的样本去构造这个混合高斯分布，即样本数量n要远大于样本维数d： $n\gg d$ 如果样本数量小于样本维数，那么协方差矩阵 $\Sigma$ 是奇异矩阵,那么 $\Sigma^{-1}$ 和 $1/\left | \Sigma \right |^{1/2}$ 都无法计算。在因子分析中，一个d维的向量通常由一个k维向量生成，通常k远小于d。具体模型如公式1所示:

$x=\Lambda z+\varepsilon$ 公式1

上式中d x k维矩阵 $\Lambda$ 称为因子载荷矩阵factor loading matrix,k维向量z称为因子factors,d维向量 $\varepsilon$ 是满足均值为0，对角协方差矩阵的高斯分布的噪声，那么根据公式1该模型写成概率形式如公式2所示：

$\begin{matrix} P(z)=N(0,I)\\ P(\varepsilon )=N(0,\Psi )\\ P(x\mid z)=N(\Lambda z,\Psi ) \end{matrix}$ 公式2

该模型如图1所示：

图1 因子分析生成模型

根据 Pattern Recognition and Machine Learning 已知公式2可得x的边缘概率和已知z的条件概率如公式3和公式4所示(详见原书公式2.113-2.117):

$P(x)=N(0,\Lambda {\Lambda}' +\Psi )$ 公式3

最低0.47元/天解锁文章

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
因子分析Factor analysis

简介：本文主要介绍EM算法求解因子分析：在文章 EM算法求解混合高斯模型时，通常假设拥有足够多的样本去构造这个混合高斯分布，即样本数量n要远大于样本维数d：如果样本数量小于样本维数，那么协方差矩阵是奇异矩阵,那么
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。