第14章 概率图模型--话题模型

话题模型（topic model）是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合），在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型（Latent Dirichlet Allocation，简称LDA）是话题模型的典型代表。
我们先来解一下话题模型中的几个概念：词（word）、文档（document）和话题（topic）。具体来说，“词”是待处理数据的基本离散单元，例如在文本处理任务中，一个词是一个英文单词或有独立意义的中文词。“文档”是待处理的数据对象，它由一组词组成，这些词在文档中是不记顺序的，例如一篇论文、一个网页都可看作一个文档；这样的表示方式称为“词袋”（bag-of-words）。数据对象只要能用词袋描述，就可使用话题模型。“话题”表示一个概念，具体表示为一系列相关的词，以及它们在该概念下出现的概率。
形象地说，如图11所示，一个话题就像是一个箱子，里面装着在这个概念下出现概率较高的那些词。不妨假定数据集中一共包含$K$个$N$维向量$\beta_k(k=1,2,...,K)$表示话题，其中$w_t\in \mathbb R^N$的第$n$个分量$w_{t,n}$表示文档$t$中词$n$的词频， $\beta_k\in \mathbb R^N$的第$n$个分量$\beta_{k,n}$表示话题$k$中词$n$的词频。
在现实任务中可通过统计文档中出现的词来获得词频向量$w_i(i=1,2,...,T)$，但通常并不知道这组文档谈论了哪些话题，也不知道每篇文档与哪些话题有关。LDA从生成式模型的角度来看待文档和话题。具体来说，LDA认为每篇文档包含多个话题，不妨用向量$\theta_t\in \mathbb R^K$表示文档$t$中所包含的每个话题的比例，$\theta_{t,k}$即表示文档$t$中包含话题$k$的比例，进而通过下面的步骤由话题“生成”文档t<script type="math/tex">t</script>:
（1）根据参数为$\alpha$的狄利克雷分布随机采样一个话题分布$\theta_t$;
（2）按如下步骤生成文档中的$N$个词：
图11 LDA的文档生成过程示意图

（a）根据$\theta_t$进行话题指派，得到文档t<script type="math/tex">t</script>中词的话题$z_{t,n}$；
（b）根据指派的话题所对应的词频分布$\beta_k$随机采样生成词。
图11演示出根据以上步骤生成文档的过程。显然，这样生成的文档自然地以不同比例包含多个话题（步骤1）文档中的每个词来自一个话题（步骤2b），而这个话题是依据话题比例产生的（步骤2a）。
图12描述了LDA的变量关系，其中文档中的词频$w_{t,n}$是唯一的已观测变量，它依赖于对这个词进行的话题指派$z_{t,n}$，以及话题所对应的词频$\beta_k$；同时，话题指派$z_{t,n}$依赖于话题分布$\theta_t,\theta_t$依赖于狄利克雷分布的参数$\alpha$，而话题词频则依赖于参数$\eta$。
图12 LDA的盘式记法图

于是，LDA模型对应的概率分布为
$$p(W,z,\beta,\theta|\alpha ,\eta)=\prod^T_{t=1}p(\theta_t|\alpha)|prod^K_{i=1}p(\beta_k|\eta)(\prod^N_{n=1}P(w_{t,n}|z_{t,n},\beta_k)P(z_{t,n}|\theta_t)),\qquad(41)$$
其中$p(\theta_t|\alpha)$和$p(\beta_k|\eta)$通常分别设置为以$\alpha$和$\eta$为参数的$K$维和$N$狄利克雷分布，例如
$$p(\theta_t|\alpha)=\frac{\Gamma(\sum_k\alpha_k)}{\prod_k\Gamma(\alpha_k)}\prod_k\theta^{\alpha_k-1}_{t,k},\qquad（42）$$
其中$\Gamma(·)$是Gamma函数。显然，$\alpha$和$\eta$是模型式（41）中待确定的参数。
给定训练数据$W=\{w_1,w_2,...,w_T\}$，LDA的模型参数可通过极大似然法估计，即寻找$\alpha$和$\eta$以最大对数似然
$$LL(\alpha,\eta)=\sum^T_{t=1}\text{ln}p(w_t|\alpha,\eta).\qquad（43）$$
但由于$p(w_t|\alpha,\eta)$不易计算，式（43）难以直接求解，因此实践中常采用变分法来求解近似解。
若模型已知，即参数$\alpha$和$\eta$已确定，则根据词频$w_{t,n}$来推断文档集所对应的话题结构（即推断$\theta_t$,$\beta_k$和$z_{t,n}$可通过求解）
$$p(z,\beta,\Theta|W,\alpha,\eta)=\frac{p(W,z,\beta,\Theta|\alpha,\eta)}{p(W|\alpha,\eta)}.\qquad（44）$$
然而由于分母上的$p(W|\alpha,\eta)$难以获取，式（44）难以直接求解，因此在实践中常采用吉布斯采样或变分法进行近似推断。