应用EM算法推倒PLSA模型

最新推荐文章于 2021-10-23 22:04:20 发布
最新推荐文章于 2021-10-23 22:04:20 发布
阅读量620 收藏 6
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dian1pei2xiao3/article/details/80540590
版权









女搬运工
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
EM推导PLSA模型
ustbfym的博客
02-10 1632
EM推导PLSA模型 回归EM算法 以上是EM算法的框架，基本思想是： E步骤：求当隐变量给定后当前估计的参数条件下的后验概率 M步骤：最大化complete data对数似然函数的期望，把E步当做是已知值，得到新的参数值 不断迭代以上步骤直到收敛。 plsa模型简介 PLSA应用于信息检索、过滤、自然语言处理等领域，考虑到词分布和主题分布，可以看做概率化的矩阵分解，采用...
概率语言模型及其变形系列(1)-PLSA及EM算法
热门推荐
Coding for Dreams
12-20 7万+
本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference方法。初步计划内容如下第一篇：PLSA及EM算法第二篇：LDA及Gibbs Samping第三篇：LDA变形模型-Twitter LDA，TimeUserLDA，ATM，Labeled-LDA，MaxEnt-LDA等第四篇：基于变形LDA的paper分类总结第五篇：LDA Gibbs Sa
PLSA主题模型的EM算法推导
Bahuia的博客
07-17 3913
看论文顺便粗略学习了EM算法和PLSA主题模型，鉴于刚入门，本文不对其原理进行深入探讨，主要针对其中的公式推导详细说明一下。PLSA主题模型：Probabilitic Latent Sematic Analysic（PLSA）主题模型是一种自然语言处理相关问题中非常经典的统计模型。相较于LSA模型，PLSA是一种基于概率统计的模型，可以用来判断文本中隐藏主题。 PLSA原理图如下： 其中，d
EM算法推导pLSA
威化饼的一隅
05-31 941
简介   概率潜在语义分析(Probabilistic Latent Semantic Analysis)模型简称pLSA。可以使用EM算法来估计pLSA的参数。 已知   有文档集合D={d1,...,dN}D=\{d_1,...,d_N\}D={d1​,...,dN​}，词语集合W={w1,...,wM}W=\{w_1,...,w_M\}W={w1​,...,wM​}，文档的（不可观测的隐变量...
pLSA参数估计的EM算法推导
大风车
10-23 587
pLSA 可参考概率潜在语义分析（PLSA）（probabilistic latent semantic analysis） EM算法可参考​​​​​​EM（期望最大）算法推导以及实例计算 拉格朗日乘子法可参考如何理解拉格朗日乘子法？ 好啦，下面开始做一个简单的推导。 首先我们先回顾一个 pLSA，以生成模型为例。 生成模型假设在话题给定条件下，单词和文本条件独立，即： 设单词集合为，文本集合为，话题集合为。给定单词-文本共现数据,,。为单词在文本中...
主题模型TopicModel：PLSA模型及PLSA的EM推导
皮皮blog
01-09 1万+
基于概率统计的PLSA模型，并且用EM算法学习模型参数。PLSA的概率图模型如下 其中D代表文档，Z代表隐含类别或者主题，W为观察到的单词，表示单词出现在文档的概率，表示文档中出现主题下的单词的概率，给定主题出现单词的概率。并且每个主题在所有词项上服从Multinomial 分布，每个文档在所有主题上服从Multinomial 分布。整个文档的生成过程是这样的： (1) 以的概率选中文
PLSA:通过EM算法实现PLSA
05-24
这是通过EM（期望最大化）算法实现的PLSA（概率潜在语义分析）实现。 当前的问题： 该代码未经良好测试，因此可能包含错误。 测试文本位于文件夹./texts和./test中。 该代码似乎不适用于小型数据集，例如./test 参考...
EM算法求解混合高斯模型和pLSA
12-23
EM算法求解混合高斯模型相关的东东，挺好的，想赚5个积分下载一篇文献，嘻嘻！
PLSA及EM算法
08-22
em算法，指的是最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，在统计学中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。
PLSA及EM算法详解
12-10
本系列博文介绍常见概率语言模型及其变形模型,主要总结 PLSA、LDA 及 LDA 的变形模型及参数Inference 方法。
PLSA模型详解
10-10
PLSA模型详解, 本文详尽的整理了一下PLSA模型, 有兴趣的可以参考. 里面附带了很多自己的推导.
让机器读懂文章: pLSA模型推导及实现
李兰溪的专栏
12-30 3万+
让机器读懂文章: pLSA模型推导及实现概述pLSA模型pLSA的EM算法推导总结参考文献 概述 人类读懂文章是一个很自然的行为，当我们读完一篇《背影》的时候，我们就可以知道这篇文章在写些什么，也就是我们说获得了这篇文章的相关知识。有了这些知识，我们就可以回答一些问题，例如: 问：这篇文章写的主要内容是什么呢？ 答： 亲情、送别 问：有类似《背影》这样的文章可以推荐的吗？ 答：龙应台-《送别》 ...
PLSA中的EM算法
weixin_34402090的博客
07-03 116
主要记录下几个文章博客内容 A Note on EM Algorithm for Probabilistic Latent SemanticAnalysis（翟成祥的NOTE） A Note on EM Algorithm and PLSA（一个中文比较好的总结 by Xinyan Lu） 注意这两个是一个思路 Probabilistic Latent Semantic Analysis ...
主题模型（3）——PLSA模型及其EM算法求解
zxhohai的博客
03-01 2326
之前整理过两篇关于主题模型的博客《文本建模之Unigram Model，PLSA与LDA》和《再看LDA主题模型》，主要是整理了主题模型的由来和推导过程，关于模型参数怎么计算没有过多涉及，因此接下来将分两篇博客，分别整理PLSA模型和EM算法求解，LDA模型和Gibbs Sample求解。 PLSA 首先回顾下PLSA，作为生成模型，其在文本生成过程中，引入主题的概念，即先从KKK个主题中选定一个...
EM算法及其应用GMM，pLSA
qq_30024069的博客
04-18 378
EM(expectation Maximization)期望最大是一种迭代算法，是一种对包含隐变量的概率模型，参数估计的极大似然估计法。第一步期望(E)：利用当前参数计算对数似然的期望；第二步最大化(M)步，寻找使E步产生的对数似然期望最大化的参数值。迭代使用EM步直到收敛。 提纲挈领：隐变量，极大似然估计 假设训练数据集{x^1,x^2.....x^m}包含m个独立样本，无样本标签，我们...
EM算法小结（对于GMM和pLSA）
tianbwin2995的专栏
02-29 773
EM算法，全称为Expectation-maximization algorithm，为期望最大算法，其基本思想是：首先随机选取一个值去初始化待估计的值，然后不断迭代寻找更优的使得其似然函数likelihood 比原来的要大。换言之，假定现在得到了，想求，使得     EM的关键便是要找到的一个下界（注：，其中，X表示已经观察到的随机变量），然后不
PLSA的理解及推导
赵小越的博客
08-09 2875
        plsa对于文本主题的发展，在于其对于lsa进行了概率化，也就是文档的生成过程涉及到了选择主题，然后从主题中选择单词的过程，这二个选择的过程都满足多项式分布的情况。        对于PLSA而言，就是一个典型的EM算法问题呀。主题就是隐含变量，已知变量就是单词，文本的情况。再求解EM算法时，首先要明确极大化的对数似然函数，然后求E步，E步求解中首先要把隐含变量的条件概率求出来，...
PLSA
zhouqiang128
07-01 266
1. 引子 Bag-of-Words 模型是NLP和IR领域中的一个基本假设。在这个模型中，一个文档(document)被表示为一组单词(word/term)的无序组合，而忽略了语法或者词序的部分。BOW在传统NLP领域取得了巨大的成功，在计算机视觉领域(Computer Vision)也开始崭露头角，但在实际应用过程中，它却有一些不可避免的缺陷，比如： 稀疏性(Sparseness): ...
PLSA隐变量主题模型的公式推导解惑
sunquan_ok的博客
08-04 827
PLSA隐变量主题模型，公式推导网上也好，还是书上也好，都属于从略。 但是无论对于新手来说，还是老手，从略是不合适的，这不是一个科学对待的态度。机器学习就这么几个模型，从略是不是也对不起自己了 好了，闲话少说： 这是第一步，都是使用的条件概率公式，当然，分母p(di,wj)的分解，使用的是CK方程，一会再说。 要使第一步成立，则如图所示，p(wj|zk,di)必须等于p(wj|zk
推导概率潜在语义分析的共现模型的 EM 算法
最新发布
06-01
概率潜在语义分析（Probabilistic Latent Semantic Analysis，PLSA）是一种基于概率模型的文本主题分析方法。其核心思想是将文本数据转化为概率分布形式，然后通过EM算法对模型参数进行估计，最终得到文本的主题分布。 下面介绍一下PLSA的共现模型的EM算法。 假设我们有一个文档集合 $D$，其中每个文档 $d$ 由 $N$ 个单词组成，单词的总数为 $V$，我们希望对这些文档进行主题分析。 PLSA的共现模型假设每个文档 $d$ 都由若干个主题 $z$ 生成，每个主题 $z$ 都有自己的单词分布 $p(w|z)$，即给定主题 $z$，单词 $w$ 在该主题下出现的概率。同时，每个单词 $w$ 也有自己的主题分布 $p(z|w)$，即给定单词 $w$，它出现在哪些主题中的概率。 假设我们已知每个单词在每个文档中的出现次数 $n_{dw}$，我们的目标是推导出主题分布 $p(z|d)$ 和单词分布 $p(w|z)$。 EM算法的基本思路是，先随机初始化模型参数，然后通过交替执行E步和M步来迭代地更新模型参数，直到收敛为止。具体来说，EM算法的每一轮迭代包括以下两个步骤： E步：根据当前的模型参数，计算每个单词 $w$ 在每个文档 $d$ 中属于每个主题 $z$ 的概率 $p(z|d,w)$。这个概率可以用贝叶斯公式计算： $$p(z|d,w)=\frac{p(w|z)p(z|d)}{\sum_{z'}p(w|z')p(z'|d)}$$ M步：根据E步计算出的 $p(z|d,w)$，更新模型参数 $p(w|z)$ 和 $p(z|d)$。具体来说，我们需要最大化对数似然函数： $$L=\sum_{d,w}n_{dw}\log\sum_{z}p(w|z)p(z|d)$$ 对 $p(w|z)$ 和 $p(z|d)$ 分别求偏导数并令其等于0，得到以下更新公式： $$p(w|z)=\frac{\sum_{d}n_{dw}p(z|d,w)}{\sum_{d,w}n_{dw}p(z|d,w)}$$ $$p(z|d)=\frac{\sum_{w}n_{dw}p(w|z)}{N_d}$$ 其中 $N_d$ 表示文档 $d$ 中单词的总数。 以上就是PLSA的共现模型的EM算法的推导过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值