LDA和PLSA

pLSA的总结

1）pLSA应用于信息检索、过滤、自然语言处理等领域，pLSA考虑到词分布和主题分布，使用EM算法来学习参数。
2） 虽然推导略显复杂，但最终公式简洁清晰，很符合直观理解，需用心琢磨；此外，推导过程使用了EM算法，也

是学习EM算法的重要素材。

二、LDA

（1）共轭先验分布

1）由于x为给定样本，P(x)有时被称为“证据”，仅仅是归一化因子，如果不关心P(θ|x)的具体值，只考察θ取何值时

后验概率P(θ|x)最大，则可将分母省去。

 

在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共

轭分布，同时，先验分布叫做似然函数的共轭先验分布。

2）共轭先验分布的实践意义

似然函数P(x|θ)表示以先验θ为参数的概率分布，可以直接求得。 先验分布P(θ)是θ的分布率，可根据先验知识获得。

方案：选取似然函数P(x|θ)的共轭先验作为P(θ)的分布，这样，P(x|θ)乘以P(θ) (然后归一化)得到的P(θ|x)的形式和P(θ)的形式一样。

（2）Dirichlet分布

1) Dirichlet分布的定义：

 

2)Dirichlet分布分析

α是参数向量，共K个；定义在x 1 ,x 2 …x K-1 维上：x 1 +x 2 +…+x K-1 +x K =1，x 1 ,x 2 …x K-1 >0，

定义在(K-1)维的单纯形上，其他区域的概率密度为0

3）对称Dirichlet分布

 

α=1时，退化为均匀分布；

当α>1时， p 1 =p 2 =…=p k 的概率增大

当α<1时， p i =1，p 非i =0的概率增大

（3）LDA的解释

1）共有m篇文章，一共涉及了K个主题；每篇文章(长度为N m )都有各自的主题分布，主题分布是多项分布，该多

项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为α；

每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为 β。

对于某篇文章中的第n个词，首先从该文章的主题分布中采样一个主题，然后在这
个主题对应的词分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。