LDA主题模型

主题模型

  主题模型（topic model）是以非监督学习的方式对文集 的隐含语义结构（latent semantic structure） 进行聚类（clustering） 的统计模型。

  主题模型主要被用于自然语言处理（Natural language processing）中的语义分析（semantic analysis）和文本挖掘（text mining）问题，例如按主题对文本进行收集、分类和降维；也被用于生物信息学（bioinfomatics）研究。

LDA主题模型

LDA全称隐含狄利克雷分布（Latent Dirichlet Allocation, LDA）,

• 是一种主题模型，它可以自动分析每个文档，统计文档中的词语，根据统计的信息判断当前文档包含哪些主题以及各个主题所占比例各为多少。
• 是一种无监督学习模型：在训练时不需要手工标注的训练集，需要的仅是文档集以及指定主题的数量即可。
• 是一种贝叶斯模型:先验分布 + 数据（似然）= 后验分布
• 是一种典型的词袋模型，它认为一篇文档是由一组词组成的集合，词与词之间没有顺序和先后关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

  假设有$M$篇文档 { d 1 , . . . , d M } \{d_1,...,d_M\} {d1​,...,dM​}，第$i$篇文档有$N_i$个词 { w i 1 , . . . , w i N i } \{w_{i1},...,w_{iN_i}\} {wi1​,...,wiNi​​}，所有文档中出现的词构成词汇表$V$（不重复），同时，$V$表示词汇表中元素个数。现在的目标是找到每一篇文档的主题分布 和每一个主题中词的分布。

  在LDA模型中，假设主题数目为$K$已知。

  为方便理解，对LDA生成一篇文档的过程作如下描述：

• 有两种类型的骰子： 一种是doc-topic骰子，每个doc-topic骰子有$K$个面，每个面对应一个主题编号；一种是topic-word骰子，每个骰子有$V$个面，每个面对应一个词；
• 每种骰子，每个面出现的概率不是固定的，假设服从狄利克雷分布；
• 生成文档$d_m$中的$n$个单词，
  • 从狄利克雷分布中抽样得到doc-topic骰子各个面的概率分布$\theta$，掷骰子doc-topic获得文档$d_m$第$n$个词的主题；（从整个过程执行完的全局来看：重复掷doc-topic骰子$N_i$次，得到文档中所有词的主题，这样，各个主题中词的个数服从以$\theta$为参数的多项式分布，所以，掷骰子相当于从该多项式分布中采样）
  • 获得第$n$个单词的主题后相当于拿到一个对应的topic-word骰子，从它的先验分布，狄利克雷分布，中抽样获得各个面的概率分布$\varphi$，掷骰子topic-word获得第$n$个词。（从整个过程执行完的全局来看：假设文档中与第$n$个词主题相同的词有$l$个，需要重复掷骰子$l$次获得，这样，一篇文档中某一主题的各个词的个数服从参数为$\varphi$的多项式分布，掷骰子相当于从该多项式分布采样）

  具体地：任一文档$d_m$，

• 设文档$d_m$的主题分布为随机变量${\Theta }_m=({\Theta }_{m1},...,{\Theta }_{mk})$，其中${\Theta }_{mi}$表示文档$d_m$中包含第$i$个主题的概率,$1\le i\le K$，假设${\Theta }_m\sim Dir({\alpha }_1,...,{\alpha }_K)$。
  从$Dir({\alpha }_1,...,{\alpha }_K)$中采样得到一个主题分布${\theta }_m=({\theta }_{m1},...,{\theta }_{mK})$。
• 设文档$d_m$中的第$n$个单词的主题分布${\mathrm{Z}}_{mn}=({\mathrm{Z}}_{mn1},...,{\mathrm{Z}}_{mnK})$，其中，${\mathrm{Z}}_{mni}$表示第$n$个单词的主题是第$i$个主题的概率，则${\mathrm{Z}}_{mn}|{\Theta }_m={\theta }_m\sim multi({\theta }_{m1},...,{\theta }_{mK})$。
  从$multi({\theta }_{m1},...,{\theta }_{mK})$中采样获取第$n$个单词的主题$z_{mn}$，不妨设其为第$k$个主题。
• 主题$k$中词的先验分布${\Phi }_k=({\Phi }_{k1},...,{\Phi }_{kV})$，其中${\Phi }_{kj},1\le j\le V$表示主题$k$中出现词汇表中第$j$个词的概率，假设${\Phi }_k\sim Dir({\beta }_1,...,{\beta }_V)$。
  从$Dir({\beta }_1,...,{\beta }_V)$中采样得到主题$k$的词分布${\phi }_k=({\phi }_{k1},...,{\phi }_{kV})$。
• 设在文档$d_m$中主题为$k$的单词中，词汇表中各个单词的个数$W_{mk}$服从多项式分布$multi({\phi }_{k1},...,{\phi }_{kV})$。
  从$multi({\phi }_{k1},...,{\phi }_{kV})$中采样获取第$n$个单词$w_{mn}$。
  

每一篇文档的主题分布：估计参数${\alpha }_1,...,{\alpha }_K$
$$\{\begin{array}{l}{\Theta }_m\sim Dir({\alpha }_1,...,{\alpha }_K)\\ {\mathrm{Z}}_{mn}|{\Theta }_m={\theta }_m\sim multi({\theta }_{m1},...,{\theta }_{mK})\end{array}⟹{\Theta }_m|{\mathrm{Z}}_{mn}=z_{mn}\sim Dir({\alpha }_1+z_{mn1},...,{\alpha }_K+z_{mnK})$$

每一个主题中词的分布：估计参数${\beta }_1,...,{\beta }_V$
$$\{\begin{array}{l}{\Phi }_k\sim Dir({\beta }_1,...,{\beta }_V)\\ W_{mk}|{\Phi }_k={\phi }_k\sim multi({\beta }_1,...,{\beta }_V)\end{array}⟹{\Phi }_k|W_{mn}=f_{mn}\sim Dir({\beta }_1+f_{mn1},...,{\beta }_V+f_{mnV})$$

后续：模型求解

参考：
文本主题模型之LDA(一) LDA基础
一文详解LDA主题模型