30、潜在狄利克雷分配

healed萌

已于 2023-11-27 17:41:20 修改

阅读量857

点赞数 15

分类专栏：机器学习文章标签：概率论机器学习人工智能

于 2023-11-27 12:30:29 首次发布

本文链接：https://blog.csdn.net/m0_56642803/article/details/134586779

版权

机器学习专栏收录该内容

30 篇文章 0 订阅

订阅专栏

潜在狄利克雷分配

潜在狄利克雷分配（latent Dirichlet allocation,LDA）是文本集合的生成概率模型。假设每个文本由话题的一个多项分布表示，每个话题由单词的一个多项分布表示，特别假设文本的话题分布的先验分布是狄利克雷分布，话题的单词分布的先验分布也是狄利克雷分布。
LDA的文本集合生成过程：首先随机生成一个文本的话题分布，之后在该文本的每个位置，依据该文本的话题分布随机生成一个话题，然后在该位置依据该话题的单词分布随机生成一个单词，直至文本的最后一个位置，生成整个文本。重复以上过程直至生成所有文本。
LDA模型是含有隐变量的概率图模型。模型中，每个话题的单词分布、每个文本的话题分布、文本每个位置的话题都是隐变量，文本每个位置的单词是观测变量。利用LDA进行话题分析，就是对给定文本集合，学习到每个文本的话题分布，以及每个话题的单词分布。

1 狄利克雷分布

1.1 分布定义

首先介绍作为 LDA 模型基础的多项分布和狄利克雷分布。

1.1.1 多项分布

多项分布( multinomial distribution) 是一种多元离散随机变量的概率分布，是二项分布 ( binomial distribution) 的扩展。

多项分布：若多元离散随机变量 $X = (X_1 ， X_2 ， … ， X_k )$ 的概率质量函数为
$P(X_1=n_1,X_2=n_2, …,X_k=n_k )=\frac{n!}{n_1!n_2!...n_k!}p_1^{n_1}p_2^{n_2}...p_k^{n_k}=\frac{n!}{\prod_{i=1}^kn_i!}\prod_{i=1}^kp_i^{n_i}$
其中 $p=(p_1,p_2,...,p_k),p_i \geq0, i = 1, 2, . . . ,k$ ， $\sum_{i=1}^kp_i = 1$ , $\sum_{i=1}^k n_i= n$ ，则称随机变量 $X$ 服从参数为 $(n ， p)$ 的多项分布，记作 $X\sim Mult(n， p)$ 。

当试验的次数 $n$ 为 1 时，多项分布变成类别分布 (categorical distribution) 。类别分布表示试验可能出现的 $k$ 种结果的概率。显然多项分布包含类别分布。

1.1.2 狄利克雷分布

狄利克雷分布 ( Dirichlet distribution) 是一种多元连续随机变量的概率分布，是贝塔分布 ( beta distribution) 的扩展。在贝叶斯学习中，狄利克雷分布常作为多项分布的先验分布使用。

狄利克雷分布：若多元连续随机变量 $\theta = (\theta_1, \theta_2. … .\theta_k)$ 的概率密度函数为
$p(\theta|\alpha)=\frac{\Gamma(\sum_{i=1}^k\alpha_i)}{\prod_{i=1}^k\Gamma (\alpha_i)}\prod_{i=1}^k\theta_i^{\alpha_i-1}$
其中 $\sum_{i=1}^k\theta_i=1,\theta_i \geq 0$ , $\alpha = (\alpha_1,\alpha_2,...,\alpha_k)$ , $\alpha_i >0，i=1,2,...,k$ ，则称随机变量 $\theta$ 服从参数为 $\alpha$ 的狄利克雷分布，记作 $\theta\sim Dir(\alpha)$

式中 $\Gamma(s)$ 是伽马函数，定义为
$\Gamma(s) = \int_0^∞x^{s-1}e^{-x}dx,s>0$
具有性质
$\Gamma(s+1)=s\Gamma(s)$
当 $s$ 是自然数时，有
$\Gamma(s+1)=s!$
由于满足条件 $\theta_i \geq 0$ ， $\sum_{i=1}^k\theta_i=1$ ，所以狄利克雷分布 $\theta$ 存在于 $(k - 1)$ 维单纯形上。

令 $B(\alpha)=\frac{\prod_{i=1}^k\Gamma (\alpha_i)}{\Gamma(\sum_{i=1}^k\alpha_i)}$ ，则狄利克雷分布的密度函数可以写成
$p(\theta|\alpha)=\frac{1}{B(\alpha)}\prod_{i=1}^k\theta_i^{\alpha_i-1}$
$B(\alpha)$ 是规范化因子，称为多元贝塔函数（或扩展的贝塔函数）。由密度函数的性质
$\int \frac{\Gamma(\sum_{i=1}^k\alpha_i)}{\prod_{i=1}^k\Gamma (\alpha_i)}\prod_{i=1}^k\theta_i^{\alpha_i-1}d \theta = \frac{\Gamma(\sum_{i=1}^k\alpha_i)}{\prod_{i=1}^k\Gamma (\alpha_i)}\int\prod_{i=1}^k\theta_i^{\alpha_i-1}d \theta=1$
得
$B(\alpha)=\int\prod_{i=1}^k\theta_i^{\alpha_i-1}d \theta$
上式是多元贝塔函数的积分表达式。

1.1.3 二项分布和贝塔分布

二项分布是多项分布的特殊情况，贝塔分布是狄利克雷分布的特殊情况。

二项分布是指如下概率分布。 $X$ 为离散随机变量，取值为 $m$ ，其概率质量函数为
$P(X=m)=\left(\begin{aligned} n\\m\end{aligned}\right)p^m(1-p)^{n-m},m=0,1,2,...,n$
其中 $n$ 和 $p$ 是参数

贝塔分布是指如下概率分布 $X$ 为连续随机变量，取值范围为 $[0 ， 1]$ ，其概率密度函数为
$p(x)=\left \{ \begin{aligned} & \frac{1}{B(s,t)}x^{(s-1)(1-x)^{t-1}},&0 \leq x \leq 1 \\ &0,&其他 \end{aligned} \right.$
其中 $s > 0$ 和 $t > 0$ 是参数， $B(s,t)=\frac{\Gamma(s)\Gamma(t)}{\Gamma(s+t)}$ ，是贝塔函数，定义为
$B(s,t)=\int_0^1x^{(s-1)}(1-x)^{t-1}dx$
当 $s ， t$ 是自然数时，
$B(s,t)=\frac{(s-1)!(t-1)!}{(s+t-1)!}$
当 $n$ 为 1 时，二项分布变成伯努利分布 ( Bernoulli distribution) 或 0-1 分布。伯努利分布表示试验可能出现的 2 种结果的概率。显然二项分布包含伯努利分布。下图给出几种概率分布的关系。

在这里插入图片描述

1.2 共轭先验

狄利克雷分布有一些重要性质: (1)狄利克雷分布属于指数分布族；(2) 狄利克雷分布是多项分布的共轭先验

共轭先验：如果后验分布与先验分布属于同类，则先验分布与后验分布称为共轭分布，先验分布称为共轭先验。如果多项分布的先验分布是狄利克雷分布，则其后验分布也为狄利克雷分布，两者构成共轭分布。作为先验分布的狄利克雷分布的参数又称为超参数。使用共轭分布的好处是便于从先验分布计算后验分布。

设 $W=\{w_1,w_2,...,w_k\}$ 是由 $k$ 个元素组成的集合。随机变量 $X$ 服从 $W$ 上的多项分布， $\sim Mult(n,\theta)$ ，其中 $n=(n_1,n_2,...,n_k)$ 和 $\theta=(\theta_1,\theta_2,...,\theta_k)$ 是参数。参数 $n$ 为从 $W$ 中重复独立抽取样本的次数， $n_i$ 为样本中 $w_i$ 出现的次数 ( $i = 1, 2, ..., k$ ); 参数 $\theta_i$ 为 $w_i$ 出现的概率 $(i = 1, 2, ..., k)$ 。

将样本数据表示为 $D$ ，目标是计算在样本数据 $D$ 给定条件下参数 $\theta$ 的后验概率 $p(\theta|D)$ 。对于给定的样本数据 $D$ ，似然函数是
$p(D|\theta)=\theta_1^{n_1}\theta_2^{n_2}...\theta_k^{n_k}=\prod_{i=1}^k\theta_i^{n_i}$
假设随机变量 $\theta$ 服从狄利克雷分布 $p(\theta|α)$ ，其中 $α=(α_1,α_2,….α_k)$ 为参数。则 $\theta$ 的先验概率分布为
$p(\theta|\alpha)=\frac{\Gamma(\sum_{i=1}^k\alpha_i)}{\prod_{i=1}^k\Gamma (\alpha_i)}\prod_{i=1}^k\theta_i^{\alpha_i-1}=\frac{1}{B(\alpha)}\prod_{i=1}^k\theta_i^{\alpha_i-1}=Dir(\theta|\alpha),\alpha_i>0$
根据贝叶斯规则，在给定样本数据 $D$ 和参数 $α$ 条件下， $\theta$ 的后验概率分布是
$\begin{aligned} p(\theta|D,\alpha)&=\frac{p(D,\theta | \alpha)}{p(D|\alpha)}\\ &=\frac{p(D|\theta)p(\theta|\alpha)}{p(D|\alpha)}\\ &=\frac{\prod_{i=1}^k\theta_i^{n_i}\frac{1}{B(\alpha)}\theta_i^{\alpha_i-1}}{\int\prod_{i=1}^k\theta_i^{n_i}\frac{1}{B(\alpha)}\theta_i^{\alpha_i-1}d\theta}\\ &=\frac{1}{B(\alpha+n)}\prod_{i=1}^k\theta_i^{\alpha_i+n_i-1}\\ &=Dir(\theta|\alpha+n) \end{aligned}$
可以看出先验分布和后验分布都是狄利克雷分布，两者有不同的参数，所以狄利克雷分布是多项分布的共轭先验。狄利克雷后验分布的参数等于狄利克雷先验分布参数 $α=(α_1,α_2,….α_k)$ 加上多项分布的观测计数 $n=(n_1,n_2,...,n_k)$ ，好像试验之前就已经观察到计数 $α=(α_1,α_2,….α_k)$ ，因此也把 $α$ 叫做先验伪计数 (prior pseudo-counts) 。

2 潜在狄利克雷分配模型

2.1 基本想法

LDA 模型表示文本集合的自动生成过程：首先，基于单词分布的先验分布(狄利克雷分布)生成多个单词分布，即决定多个话题内容；之后，基于话题分布的先验分布(狄利克雷分布)生成多个话题分布，即决定多个文本内容；然后，基于每一个话题分布生成话题序列，针对每一个话题，基于话题的单词分布生成单词，整体构成一个单词序列，即生成文本，重复这个过程生成所有文本。文本的单词序列是观测变量，文本的话题序列是隐变量，文本的话题分布和话题的单词分布也是隐变量。

在这里插入图片描述

LDA 模型是概率图模型，其特点是以狄利克雷分布为多项分布的先验分布，学习就是给定文本集合，通过后验概率分布的估计，推断模型的所有参数。利用 LDA 进行话题分析，就是对给定文本集合，学习到每个文本的话题分布，以及每个话题的单词分布。

LDA与PLSA的异同：LDA（潜在狄利克雷分配）是PLSA（概率潜在语义分析）的扩展。

①相同点：两者都假设话题是单词的多项分布，文本是话题的多项分布。
②不同点：LDA使用狄利克雷分布作为先验分布，而PLSA不使用先验分布（或者说假设先验分布是均匀分布），两者对文本生成有不同假设；学习过程LDA基于贝叶斯学习，而PLSA基于极大似然估计；LDA的优点是，使用先验概率分布，可以防止学习过程产生过拟合

2.2 模型定义

2.2.1 模型要素

潜在狄利克雷分配 (LDA) 使用三个集合：
- 一是单词集合 $W=\{w_1,..,w_v,...,w_V\}$ ，其中 $w_v$ 是第 $v$ 个单词， $v = 1, 2, \dots, V$ , $V$ 是单词的个数。
- 二是文本集合 $\{\mathbf{w}_1,...,\mathbf{w}_m …,\mathbf{w}_M\}$ ，其中 $\mathbf{w}_m$ 是第 $m$ 个文本， $m = 1, 2, \dots, M$ , $M$ 是文本的个数。文本 $\mathbf{w}_m$ 是一个单词序列 $\mathbf{w}_m=(w_{m1},..,w_{mn},...,w_{mN_m})$ ，其中 $w_{mn}$ 是文本 $\mathbf{w}_m$ 的第 $n$ 个单词， $n = 1,2,… ,N_m$ ， $N_m$ 是文本 $\mathbf{w}_m$ 中单词的个数。
- 三是话题集合 $Z = \{z_1,…,z_k,…, z_K\}$ ，其中 $z_k$ 是第 $k$ 个话题， $k = 1, 2, \dots, K$ ， $K$ 是话题的个数。
每一个话题 $z_k$ 由一个单词的条件概率分布 $p(w|z_k)$ 决定， $\in W$ 。分布 $p(w|z_k)$ 服从多项分布 (严格意义上类别分布) ，其参数为 $\varphi _k$ 。参数 $\varphi _k$ 服从狄利克雷分布(先验分布) ，其超参数为 $\beta$ 。参数 $\varphi _k$ 是一个 $V$ 维向量 $\varphi _k=(\varphi _{k1},\varphi _{k2},...,\varphi _{kV})$ ，其中 $\varphi _{kv}$ 表示话题 $z_k$ 生成单词 $w_v$ 的概率。所有话题的参数向量构成一个 $\times V$ 矩阵 $\mathbf{\varphi}=\{\varphi_k\}^K_{k=1}$ 。超参数 $\beta$ 也是一个 V 维向量 $(\beta_1,\beta_2,...,\beta_V)$ 。
每一个文本 $\mathbf{w}_m$ 由一个话题的条件概率分布 $|\mathbf{w}_m )$ 决定， $\in Z$ 。分布 $|\mathbf{w}_m )$ 服从多项分布 (严格意义上类别分布) ，其参数为 $\theta_m$ 。参数 $\theta_m$ 服从狄利克雷分布〈先验分布) ，其超参数为 $α$ 。参数 $\theta_m$ 是一个 $K$ 维向量 $\theta_m=(\theta_{m1},\theta_{m2},...,\theta_{mK})$ ，其中 $\theta_{mk}$ 表示文本 $\mathbf{w}_m$ 生成话题 $z_k$ 的概率。所有文本的参数向量构成一个 $\times K$ 矩阵 $\mathbf{\theta}=\{\theta_m\}^M_{m=1}$ 。超参数 $α$ 也是一个 $K$ 维向量 $α= (α_1 ,α_2,…,α_K)$ 。
每一个文本 $\mathbf{w}_m$ 中的每一个单词 $w_{mn}$ 由该文本的话题分布 $p(z|\mathbf{w}_m)$ 以及所有话题的单词分布 $p(w|z_k)$ 决定。

2.2.2 生成过程

LDA文本集合的生成过程如下：

给定单词集合 $W$ ，文本集合 $D$ ，话题集合 $Z$ ，狄利克雷分布的超参数 $\alpha$ 和 $\beta$

（1）生成话题的单词分布

随机生成 $K$ 个话题的单词分布。具体过程如下，按照狄利克雷分布 $Dir(\beta)$ 随机生成一个参数向量 $\varphi _k=(\varphi _{k1},\varphi _{k2},...,\varphi _{kV})$ ， $\varphi _k∼Dir(\beta)$ ，作为话题 $z_k$ 的单词分布 $p(w|z_k),w∈W,k=1,2,...,K$
（2）生成文本的话题分布

随机生成 $M$ 个文本的话题分布。具体过程如下，按照狄利克雷分布 $Dir(\alpha)$ 随机生成一个参数向量 $\theta_m=(\theta_{m1},\theta_{m2},...,\theta_{mK})$ ， $\theta_m∼Dir(\alpha)$ ，作为文本 $w_m$ 的话题分布 $p(z|w_m),m=1,2,...,M$
（3）生成文本的单词序列

随机生成 $M$ 个文本的 $N_m$ 个单词。文本 $w_m(m=1,2,...,M)$ 的单词 $w_{mn}(n=1,2,...,N_m)$ 的生成过程如下：
- （3-1）首先按照多项式分布 $Mult(\theta_m)$ 随机生成一个话题 $z_{mn},z_{mn}∼Mult(\theta_m)$
- （3-2）然后按照多项式分布 $Mult(\varphi _{z_{mn}})$ 随机生成一个单词 $w_{mn},w_{mn}∼Mult(\varphi _{z_{mn}})$ 。文本 $w_m$ 本身是单词序列 $w_m=(w_{m1},w_{m2},...,w_{mN_m})$ ，对应着隐式的话题序列 $z_m=(z_{m1},z_{m2},...,z_{mN_m})$

LDA 的文本生成过程中，假定话题个数 $K$ 给定，实际通常通过实验选定。狄利克雷分布的超参数 $α$ 和 $\beta$ 通常也是事先给定的。在没有其他先验知识的情况下，可以假设向量 $α$ 和 $\beta$ 的所有分量均为 1，这时的文本的话题分布 $\theta_m$ 是对称的，话题的单词分布 $\varphi _k$ 也是对称的。

2.2.3 概率图模型

LDA 作为概率图模型的板块表示 ( plate notation) 。图中结点表示随机变量，实心结点是观测变量，空心结点是隐变量；有向边表示概率依存关系；矩形(板块)表示重复，板块内数字表示重复的次数。

在这里插入图片描述

图中的 LDA 板块表示，结点 $α$ 和 $\beta$ 是模型的超参数，结点 $\varphi _k$ 表示话题的单词分布的参数，结点 $\theta_m$ 表示文本的话题分布的参数，结点 $z_{mn}$ 表示话题，结点 $w_{mn}$ 表示单词。结点 $β$ 指向结点 $\varphi _k$ ，重复 $K$ 次，表示根据超参数 $β$ 生成 $K$ 个话题的单词分布的参数 $\varphi _k$ ；结点 $α$ 指向结点 $\theta_m$ ，重复 $M$ 次，表示根据超参数 $α$ 生成 $M$ 个文本的话题分布的参数 $\theta_m$ ；而结点 $\theta_m$ 指向结点 $z_{mn}$ ，重复 $N_m$ 次，表示根据文本的话题分布 $\theta_m$ 生成 $N_m$ 个话题 $z_{mn}$ ；结点 $z_{mn}$ 指向结点 $w_{mn}$ ，同时 $K$ 个结点 $\varphi _k$ 也指向结点 $w_{mn}$ ，表示根据话题 $z_{mn}$ 以及 $K$ 个话题的单词分布 $\varphi _k$ 生成单词 $w_{mn}$ 。

板块表示的优点是简洁，板块表示展开之后，成为普通的有向图表示(下图) 。有向图中结点表示随机变量，有向边表示概率依存关系。可以看出 LDA 是相同随机变量被重复多次使用的概率图模型。

在这里插入图片描述

2.2.4 随机变量序列的可交换性

一个有限的随机变量序列是可交换的 ( exchangeable ) ，是指随机变量的联合概率分布对随机变量的排列不变。
$P(x_1,x_2,...,x_N)=P(x_{\pi(1)},x_{\pi(2)},...,x_{\pi(N)})$
这里 $\pi(1),\pi(2),...,\pi(N)$ 代表自然数 $1, 2, \dots, N$ 的任意一个排列。一个无限的随机变量序列是无限可交换 ( infinitely exchangeable) 的，是指它的任意一个有限子序列都是可交换的。

如果一个随机变量序列 $X_1,X_2,… ,X_N ,…$ 是独立同分布的，那么它们是无限可交换的。反之不然。

随机变量序列可交换的假设在贝叶斯学习中经常使用。根据 De Finetti 定理，任意一个无限可交换的随机变量序列对一个随机参数是条件独立同分布的。即任意一个无限可交换的随机变量序列 $X_1,X_2,… ,X_i ,…$ 的基于一个随机参数 $Y$ 的条件概率，等于基于这个随机参数 $Y$ 的各个随机变量 $X_1,X_2,… ,X_N ,…$ 的条件概率的乘积。
$P(X_1,X_2,… ,X_N ,…|Y)=P(X_1|Y)P(X_2|Y)...P(X_i|Y)...$
LDA 假设文本由无限可交换的话题序列组成。由 De Finetti 定理知，实际是假设文本中的话题对一个随机参数是条件独立同分布的。所以在参数给定的条件下，文本中的话题的顺序可以忽略。作为对比，概率潜在语义模型假设文本中的话题是独立同分布的，文本中的话题的顺序也可以，忽略。

2.2.5 概率公式

LDA 模型整体是由观测变量和隐变量组成的联合概率分布，可以表为
$p(\mathbf{w},\mathbf{z},\theta,\varphi|\alpha,\beta)=\prod_{k=1}^Kp(\varphi_k|\beta)\prod_{m=1}^Mp(\theta_m|\alpha)\prod_{n=1}^{N_m}p(z_{mn}|\theta_m)p(w_{mn}|z_{mn},\varphi)$
其中观测变量 $\mathbf{w}$ 表示所有文本中的单词序列，隐变量 $\mathbf{z}$ 表示所有文本中的话题序列，隐变量 $\theta$ 表示所有文本的话题分布的参数，隐变量 $\varphi$ 表示所有话题的单词分布的参数， $α$ 和 $β$ 是超参数。式中 $p(\varphi_k|\beta)$ 表示超参数 $β$ 给定条件下第 $k$ 个话题的单词分布的参数 $\varphi_k$ 的生成概率， $p(\theta_m|\alpha)$ 表示超参数 $α$ 给定条件下第 $m$ 个文本的话题分布的参数 $\theta_m$ 的生成概率， $p(z_{mn}|\theta_m)$ 表示第 $m$ 个文本的话题分布 $\theta_m$ 给定条件下文本的第 $n$ 个位置的话题 $z_{mn}$ 的生成概率， $p(w_{mn}|z_{mn},\varphi)$ 表示在第 $m$ 个文本的第 $n$ 个位置的话题 $z_{mn}$ 及所有话题的单词分布的参数 $\varphi$ 给定条件下第 $m$ 个文本的第 $n$ 个位置的单词 $w_{mn}$ 的生成概率。

第 $m$ 个文本的联合概率分布可以表为
$p(\mathbf{w}_m,\mathbf{z}_m,\theta_m,\varphi|\alpha,\beta)=\prod_{k=1}^Kp(\varphi_k|\beta)p(\theta_m|\alpha)\prod_{n=1}^{N_m}p(z_{mn}|\theta_m)p(w_{mn}|z_{mn},\varphi)$
其中 $\mathbf{w}_m$ 表示该文本中的单词序列， $\mathbf{z}_m$ 表示该文本的话题序列， $\theta_m$ 表示该文本的话题分布参数。

LDA 模型的联合分布含有隐变量，对隐变量进行积分得到边缘分布。

参数 $\theta_m$ 和 $\varphi$ 给定条件下第 $m$ 个文本的生成概率是
$p(\mathbf{w}_m|\theta_m,\varphi)=\prod_{n=1}^{N_m}\left[\sum_{k=1}^Kp(z_{mn}=k|\theta_m)p(w_{mn}|\varphi_k)\right]$
超参数 $α$ 和 $β$ 给定条件下第 $m$ 个文本的生成概率是
$p(\mathbf{w}_m|\alpha,\beta)=\prod_{k=1}^K\int p(\varphi_k|\beta) \left[ \int p(\theta_m|\alpha)\prod_{n=1}^{N_m}\left[ \sum_{l=1}^Kp(z_{mn}=l|\theta_m)p(w_{mn}|\varphi_l)\right]d\theta_m\right]d\varphi_k$
超参数 $α$ 和 $β$ 给定条件下所有文本的生成概率是
$p(\mathbf{w}|\alpha,\beta)=\prod_{k=1}^K\int p(\varphi_k|\beta) \left[ \prod_{m=1}^M\int p(\theta_m|\alpha)\prod_{n=1}^{N_m}\left[ \sum_{l=1}^Kp(z_{mn}=l|\theta_m)p(w_{mn}|\varphi_l)\right]d\theta_m\right]d\varphi_k$

3 LDA 的吉布斯抽样算法

输入：文本的单词序列 $\mathbf{w} = \{\mathbf{w}_1,...,\mathbf{w}_m …,\mathbf{w}_M\}$ ， $\mathbf{w}_m=(w_{m1},..,w_{mn},...,w_{mN_m})$ ;
输出：文本的话题序列 $\mathbf{z} = \{\mathbf{z}_1,...,\mathbf{z}_m …,\mathbf{z}_M\}$ ， $\mathbf{z}_m=(z_{m1},..,z_{mn},...,z_{mN_m})$ 的后验概率分布 $p(\mathbf{z}|\mathbf{w},\alpha,\beta)$ 的样本计数，模型的参数 $\varphi$ 和 $\theta$ 的估计值；
参数：超参数 $α$ 和 $\beta$ ，话题个数 $K$ 。

设所有计数矩阵的元素 $n_{mk}$ ， $n_{kv}$ ，计数向量的元素 $n_m$ ， $n_k$ 初值为 0；
对所有文本 $\mathbf{w}_m$ ， $m = 1, 2, \dots, M$ ，对第 $m$ 个文本中的所有单词 $w_{mn}$ ， $n=1,2 ,…,N_m$ ，
- 抽样话题 $z_{mn} \sim Mult(\frac{1}{K})$ ；
- 增加文本-话题计数 $n_{mk} = n_{mk} + 1$ ，
- 增加文本-话题和计数 $n_m= n_m +1$ ，
- 增加话题-单词计数 $n_{kv} = n_{kv} + 1$ ，
- 增加话题-单词和计数 $n_k = n_k+ 1$ ；
循环执行以下操作，直到进入燃烧期。对所有文本 $\mathbf{w}_m$ ， $m = 1, 2, \dots, M$ ，对第 $m$ 个文本中的所有单词 $w_{mn}$ ， $n=1,2 ,…,N_m$
- (a) 当前的单词 $w_{mn}$ 是第 $v$ 个单词，话题指派 $z_{mn}$ 是第 $k$ 个话题；
  - 减少文本-话题计数 $n_{mk} = n_{mk} - 1$ ,
  - 减少文本-话题和计数 $n_m= n_m -1$ ，
  - 减少话题-单词计数 $n_{kv} = n_{kv} - 1$ ,
  - 减少话题-单词和计数 $n_k = n_k- 1$ ;
- (b) 按照满条件分布进行抽样
  $p(z_i|\mathbf{z}_{-i},\mathbf{w},\alpha,\beta) \propto \frac{n_{kv}+\beta_v}{\sum_{v=1}^V(n_{kv}+\beta_v)} . \frac{n_{mk}+\alpha_k}{\sum_{k=1}^K(n_{mk}+\alpha_k)}$
  得到新的第 $k^{'}$ 个话题，分配给 $z_{mn}$ ；
- （c）增加计数 $n_{mk'} = n_{mk'} + 1$ ， $n_m= n_m +1$ ， $n_{k''v} = n_{k'v} + 1$ ， $n_{k'} = n_{k'}+ 1$ ；
- （d）得到更新的两个计数矩阵 $N_{K\times V} = [n_{kv}]$ 和 $N_{M \times K} = [n_{mk}]$ ，表示后验概率分布 $p(\mathbf{z}|\mathbf{w},\alpha,\beta)$ 的样本计数；
利用得到的样本计数，计算模型参数
$\theta_{mk}=\frac{n_{mk}+\alpha_k}{\sum_{k=1}^K(n_{mk}+\alpha_k)}\\ \varphi_{kv}=\frac{n_{kv}+\beta_v}{\sum_{v=1}^V(n_{kv}+\beta_v)}$

4 LDA 的变分 EM 算法

LDA 的变分 EM 算法如下：

输入：给定文本集合 $\{\mathbf{w}_1,...,\mathbf{w}_m …,\mathbf{w}_M\}$ ；
输出：变分参数 $\gamma$ , $\eta$ ，模型参数 $α$ , $\varphi$ 。

交替选代 E 步和 M 步，直到收敛。

(1) E 步

固定模型参数 $α$ , $\varphi$ ，通过关于变分参数 $\gamma$ , $\eta$ 的证据下界的最大化，估计变分参数 $\gamma$ , $\eta$ 。
(2) M 步

固定变分参数 $\gamma$ , $\eta$ ，通过关于模型参数 $α$ , $\varphi$ 的证据下界的最大化，估计模型参数 $α$ , $\varphi$

根据变分参数 $\gamma$ , $\eta$ ，可以估计模型参数 $\theta=(\theta_1,...,\theta_m,...,\theta_M)$ ， $\mathbf{z} = (\mathbf{z}_1,...,\mathbf{z}_m …,\mathbf{z}_M)$