基于主题模型的聚类算法

基于主题模型的聚类算法是假定数据的分布是符合一系列的概率分布，用概率分布模型去对数据进行聚类，而不是像层次聚类和划分聚类那样基于距离来进行聚类。因此，模型的好坏就直接决定了聚类效果的好坏。目前比较常用的基于主题聚类算法有LDA和PLSA等，其中LDA是PLSA的一个“升级”，它在PLSA的基础上加了Dirichlet先验分布，相比PLSA不容易产生过拟合现象，LDA是目前较为流行的用于聚类的主题模型。
LDA（Latent Dirichlet Allocation，隐含狄利克雷分配），是一种三层贝叶斯概率模型，它由文档层、主题层和词层构成。LDA对三层结构作了如下的假设：

• 整个文档集合中存在k个相互独立的主题
• 每一个主题是词上的多项分布
• 每一个文档由k个主题随机混合组成
• 每一个文档是k个主题上的多项分布
• 每一个文档的主题概率分布的先验分布是Dirichlet分布
• 每一个主题中词的概率分布的先验分布是Dirichlet分布
  LDA生成过程
• 按照先验概率$p(d_i)$选择一篇文档$d_i$
• 从狄利克雷分布（即Dirichlet分布）$α$中取样生成文档 $d_i$的主题分布$θ_i$，换言之，主题分布由超参数为$α$的Dirichlet分布生成
• 从主题的多项式分布$θ_i$中取样生成文档$d_i$第 j 个词的主题$z_{i,j}$
• 从狄利克雷分布（即Dirichlet分布）$β$中取样生成主题$z_{i,j}$对应的词语分布$ϕ_{z_{i,j}}$，换言之，词语分布由参数为$β$的Dirichlet分布生成
• 从词语的多项式分布中$ϕ_{z_{i,j}}$采样最终生成词语$w_{i,j}$ ”