PLSA主题模型

最新推荐文章于 2022-11-18 10:16:05 发布

Just_Try

最新推荐文章于 2022-11-18 10:16:05 发布

阅读量1.9k

点赞数

分类专栏：知识点

本文链接：https://blog.csdn.net/abc123456789cbaabc/article/details/38682519

版权

知识点专栏收录该内容

31 篇文章 0 订阅

订阅专栏

摘自这里

PLSA的通俗理解：

想象某个人要写N篇文档，他需要确定每篇文档里每个位置上的词。假定他一共有K个可选的主题，有V个可选的词项，所以，他制作了K个V面的 “主题-词项” 骰子，每个骰子对应一个主题，骰子每一面对应要选择的词项。然后，每写一篇文档会再制作一颗K面的 ”文档-主题“ 骰子；每写一个词，先扔该骰子选择主题；得到主题的结果后，使用和主题结果对应的那颗”主题-词项“骰子，扔该骰子选择要写的词。他不停的重复如上两个扔骰子步骤，最终完成了这篇文档。重复该方法N次，则写完所有的文档。在这个过程中，我们并未关注词和词之间的出现顺序，所以pLSA也是一种词袋方法；并且我们使用两层概率分布对整个样本空间建模，所以pLSA也是一种混合模型。

具体来说，该模型假设一组共现(co-occurrence)词项关联着一个隐含的主题类别 zk∈{z1,…,zK}。有如下三个相关的概率：P(di)表示词在文档di中出现的概率，P(wj|zk)表示某个词wj在给定主题zk下出现的概率，P(zk|di)表示某个主题zk在给定文档di下出现的概率。利用这三个概率，我们可以按照如下方式得到“词-文档”的生成模型：（三步刚好是上文对PLSA的理解）

按照概率P(di)选择一篇文档di
按照概率P(zk|di)选择一个隐含的主题类别zk
按照概率P(wj|zk)生成一个词wj

这样可以得到文档中每个词的生成概率。把这个过程用数学方法表示：

P (d i, w j) = P (d i) P (w j | d i) = P (d i) \sum k = 1 K P (w j | z k) P (z k | d i)

用概率图表示如下：

Hofmann的原始论文里使用概率符号P(wj|zk)和P(zk|di)，我们也可以从矩阵的角度来描述这两个变量：

假设用ϕk表示词表V在主题zk上的一个多项分布，则ϕk可以表示成一个向量，每个元素ϕk,j表示词项wj出现在主题zk中的概率，即

P (w j | z k) = ϕ k, j, \sum w j \in V ϕ k, j = 1

同样，假设用θi表示所有主题Z在文档di上的一个多项分布，则θi可以表示成一个向量，每个元素θi,k表示主题zk出现在文档di中的概率，即

P (z k | d i) = θ i, k, \sum z k \in Z θ i, k = 1

最终我们要求解的参数是这两个矩阵：

由于词和词之间是互相独立的，于是可以得到整篇文档的词的分布；并且文档和文档也是互相独立的，于是我们可以得到整个样本的词的分布：

P (W | d i) P (W | D) = \prod j = 1 M P (d i, w j) n (d i, w j) = \prod i = 1 N \prod j = 1 M P (d i, w j) n (d i, w j)

其中，n(di,wj)表示词项wj在文档di中的词频，n(di)表示文档di中词的总数，显然有n(di)=∑wj∈Vn(di,wj)。

于是，可以很容易写出样本分布的对数似然函数：

ℓ (Φ, Θ) = \sum i = 1 N \sum j = 1 M n (d i, w j) log P (d i, w j) = \sum i = 1 N n (d i) ⎛ ⎝ log P (d i) + \sum j = 1 M n ( d i , w j ) n ( d i ) log \sum k = 1 K P (w j | z k) P (z k | d i) ⎞ ⎠ = \sum i = 1 N n (d i) ⎛ ⎝ log P (d i) + \sum j = 1 M n ( d i , w j ) n ( d i ) log \sum k = 1 K ϕ k, j θ i, k ⎞ ⎠

我们需要最大化对数似然函数来求解参数，对于这种含有隐变量的最大似然估计，我们还是需要使用EM方法。

E-step: 假定参数已知，计算此时隐变量的后验概率。

利用贝叶斯法则，可以得到：

P (z k | d i, w j) = P ( z k , d i , w j ) \sum K l = 1 P ( z l , d i , w j ) = P ( w j | d i , z k ) P ( z k | d i ) P ( d i ) \sum K l = 1 ( P ( w j | d i , z l ) P ( z l | d i ) P ( d i ) ) = P ( w j | z k ) P ( z k | d i ) \sum K l = 1 P ( w j | z l ) P ( z l | d i ) = ϕ k , j θ i , k \sum K l = 1 ϕ l , j θ i , l

这需要一点贝叶斯网络和概率图模型的知识，具体可以参考PRML第八章。

M-step：带入隐变量的后验概率，最大化样本分布的对数似然函数，求解相应的参数。

观察上面的对数似然函数ℓ，由于P(di)∝n(di)也就是文档长度可以单独从样本计算，可以去掉不影响最大化似然函数；此外，根据E-step的计算结果，把 ϕk,jθi,k=P(zk|di,wj)∑Kl=1ϕl,jθi,l 代入ℓ，于是我们最大化下面这个函数即可：

ℓ = \sum i = 1 N \sum j = 1 M n (d i, w j) \sum k = 1 K P (z k | d i, w j) log [ϕ k, j θ i, k]

这是一个多元函数求极值问题，并且已知有如下约束条件：

\sum j = 1 M ϕ k, j = 1 \sum k = 1 K θ i, k = 1

一般处理这种带有约束条件的极值问题，我们常用的方法是拉格朗日乘数法，引入拉格朗日乘子把约束条件和多元函数结合在一起，转化为无条件极值问题。这里我们引入两个乘子τ和ρ，可以写出拉格朗日函数，如下：

H = L c + \sum k = 1 K τ k ⎛ ⎝ 1 - \sum j = 1 M ϕ k, j ⎞ ⎠ + \sum i = 1 N ρ i (1 - \sum k = 1 K θ i, k)

需要求解ϕk,j和θi,k，分别求偏导，取0，可得如下等式：

\sum i = 1 N n (d i, w j) P (z k | d i, w j) - τ k ϕ k, j = 0, 1 \leq j \leq M, 1 \leq k \leq K \sum j = 1 M n (d i, w j) P (z k | d i, w j) - ρ i θ i, k = 0, 1 \leq i \leq N, 1 \leq k \leq K

消去拉格朗日乘子，最终可估计出参数：

Just_Try

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
PLSA主题模型

想象某个人要写N篇文档，他需要确定每篇文档里每个位置上的词。假定他一共有K个可选的主题，有V个可选的词项，所以，他制作了K个V面的 “主题-词项” 骰子，每个骰子对应一个主题，骰子每一面对应要选择的词项。然后，每写一篇文档会再制作一颗K面的 ”文档-主题“ 骰子；每写一个词，先扔该骰子选择主题；得到主题的结果后，使用和主题结果对应的那颗”主题-词项“骰子，扔该骰子选择要写的词。他不停的重复
复制链接

扫一扫