LDA文本主题模型的学习笔记

最新推荐文章于 2024-06-10 12:05:20 发布

fond_dependent

最新推荐文章于 2024-06-10 12:05:20 发布

阅读量5.1k

点赞数 6

分类专栏： NLP的知识库

本文链接：https://blog.csdn.net/qq_38556984/article/details/107571714

版权

NLP的知识库专栏收录该内容

33 篇文章 32 订阅

订阅专栏

引言

我们经常会听到LDA文本主题模型，经常用于文本分类。LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，用来推测文档的主题分布。它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题分布后，便可以根据主题分布进行主题聚类或文本分类。LDA全称隐含狄利克雷分布(Latent Dirichlet Allocation)，听这个名字我们就知道LDA 模型涉及很多数学知识，这也许是LDA晦涩难懂的主要原因。这里简单说一说我对LDA的一些认知。

LDA简介

LDA是一个无监督分析，对于自然语言处理，可以用来主题分析、关键词提取、文档聚类，计算语义相似度；对于计算机视觉，可以用来图像聚类；换句话说，只要能引入隐变量（主题就是一个隐变量）的场景，都可以尝试。

接下来从比较直观的角度，来看看LDA主题模型做了什么。在LDA模型下，每个文档都对应着一个主题分布，例如上面这个文档，对于黄色主题的概率大一点。这个文档的主题又是从哪里体现出来呢？因为文档中的每个单词都是属于某个主题的，所以根据统计，统计出我们这篇文档的主题分布。如何确定某个单词属于哪个主题的呢？是因为我们在每个主题下有对应着有单词的分布（图最左侧）。

提出者在一开始建模的时候，有一个假设是：我们在一个单词一个单词敲打出一个文档过程中，每当我们想预先写出一个单词时，其实我们心已有一个定好的主题，比方说我们想写一个主题为体育的新闻，那么我们在体育这个主题下再去找我们相对应的一个单词，那么我们就可能敲出“足球”这个单词；然后我们再去体育这个主题下，敲出来“比赛”这个单词；以此类推，我们生成了整篇文章。这也是LDA模型work的原因。

LDA模型的输出如上图所两个分布，一个是主题分布，另外一个是单词分布。在每个主题下，所有单词概率加起来为1；在每个文章下，所有主题的概率加起来为1。以矩阵的观点来看，输入的是一个 $N * M$ 的文章矩阵，其中 $N$ 是文章的数量， $M$ 是单词的数量。输出的是一个 $N * K$ 的主题分布，其中 $K$ 是主题个数，里面每一行代表的是每篇文章的主题分布；另外一个输出是 $M * K$ 的单词分布，里面的每一列对应着每个主题的单词分布。

LDA到底是一个什么模型呢？就像盲人摸象一样，每个人都有自己的理解。可以从下面几个方向来理解LDA“
概率图模型：数据生成过程定义了观测随机变量和隐藏随机变量的联合概率分布。通过使用联合分布来计算在给定观测变量下隐藏变量的条件分布（后验分布）来进行数据分析。对于LDA来说，观测变量就是文档中的词；隐藏变量就是主题结构。那么推测文档中隐藏的主题结构的问题其实就是计算在给定文档下隐藏变量的条件分布（后验分布）。
矩阵分解：单词*文档分解为单词*主题 + 文档*主题
聚类：根据主题进行聚类。
降维：每一篇文档可看作关于主题的分布。

一些你需要了解的数学知识

LDA涉及到的数学知识有：共轭先验分布、贝叶斯框架、二项分布、Gamma函数、Beta分布、多项分布、Dirichlet分布、吉布斯采样

共轭先验分布

后验分布 = 似然分布 * 先验分布
在贝叶斯概率理论中，如果后验分布和先验分布满足同样的分布律，那么两者称为共轭分布。而先验分布叫作似然函数的共轭先验分布。

贝叶斯框架

先验分布 + 数据（似然）=> 后验分布
好人与坏人的例子：
• 先验分布：100个好人和100个的坏人，即你认为好人坏人各占一半
• 数据：现在你被2个好人帮助了和1个坏人骗了
• 后验分布：102个好人和101个的坏人
• 现在你的后验分布里面认为好人比坏人多了。这个后验分布接着又变成你的新的先验分布，当你被1个好人（数据）帮助了和3个坏人（数据）骗了后，你又更新了你的后验分布为：103个好人和104个的坏人。依次继续更新下去。

二项分布

二项分布是N重伯努利分布，即为 $X - B (n, p)$ . 概率密度公式为：

多项分布

多项分布，是二项分布扩展到多维的情况. 多项分布是指单次试验中的随机变量的取值不再是 $0 - 1$ 的，而是有多种离散值可能 $（ 1, 2, 3 . . ., k ）$ .概率密度函数为：

Gamma函数

Gamma函数可以看成是阶乘在实数集上的延拓，欧拉应用各种参数替换数学技巧与极限思想，成功推导出Gamma函数：

Beta分布

Beta分布的定义：对于参数 $\alpha > 0, \beta > 0$ , 取值范围为 $[0, 1]$ 的随机变量 $x$ 的概率密度函数为：

其中 $B$ 的表达式可以由刚才定义的Gamma函数来表达：

Dirichlet分布

Beta分布的多维形式我们一般称他为狄克雷（Dirichlet）分布，所以Dirichlet分布是Beta分布的一种拓展：

其中 $B$ 的表达式仍可以由刚才定义的Gamma函数来表达：

LDA中的共轭分布

首先，Beta分布为二项分布的共轭先验分布，简单证明如下：
似然概率：

先验概率：

计算后验概率：

后验概率是参数为 $（ k + α, n - k + β ）$ 的Beta分布，与先验概率为同种分布，故两者为共轭分布。

结合贝叶斯框架，我们可以得到：

那么我们推广到多维形式，就是Dirichlet分布为多项分布的共轭先验分布。

吉布斯采样

概率图模型中最常用的采样技术是马尔可夫链脸蒙特卡罗(Markov chain Monte Carlo, MCMC). MCMC方法的关键在于通过构造“平稳分布为p的马尔可夫链”来产生样本：若马尔科夫链运行时间足够长，即收敛到平稳状态，Metropolis-Hastings(简称MH)算法是MCMC的重要代表。它基于“拒绝采样”（reject sampling）来逼近平稳分布 $p$ 。吉布斯采样(Gibbs sampling)有时被视为MH算法的特例，它也使用马尔科夫链读取样本，而该马尔科夫链的平稳分布也是采用采样的目标分布 $p (x)$ 。假定 $X= x_1, x_2, ... ,x_N$ , 目标分布为 $p (x)$ , 在初始化 $x$ 的取值后，通过循环执行以下步骤来完成采样：

如何理解LDA

如下图所示：语料中有 $M$ 篇文章，假定有 $K$ 个主题。每篇文章(长度为 $N_m$ )都有一个主题分布，主题分布为维度大小为 $K$ 的多项式分布，该分布的参数服从Dirichlet分布( $α$ ) (即主题的先验分布)。由于有 $M$ 篇文章，那么有M个文档主题的Dirichlet分布,而对应的数据为 $M$ 个主题的多项分布，即 $M$ 组Dirichelet-multi共轭。

同时每个主题都有一个词分布，即一个维度大小为词典大小的多项式分布，该分布的参数服从Dirichlet分布( $β$ )(即词的先验分布)。有 $K$ 个主题与词的Dirichlet分布，而对应的数据为 $K$ 个主题的词汇的多项分布，即 $K$ 组Dirichelet-multi共轭。

语料的生成过程:首先从文章的主题分布中采样一个主题,再在此主题下的词分布中采样一个词。不断重复此过程，直到生成一篇文章,进而生成M篇文章。

这里如何利用上面的贝叶斯框架求得后验分布，可以见这里，很详细很有趣。

LDA的一些参数设计

$K$ 以及两个Dirichlet分布参数事先给定，如何确定这些超参数？

多次实验。
已经K个主题，V个词汇，可尝试： • $α = 50 / K$ • $β = 200 / V$
$α$ 越小，不同文档间主题越是鲜明，越大则越不鲜明，分布越平均。
$β$ 越大，同一词汇可能属于不同主题的可能性越大，反之则同一词汇仅属于某一主题的可能性更大。

如何求解LDA

LDA 中，生成文档的过程如下:

按照先验概率选择一篇文档 $d_i$ 。
从Dirichlet分布中取样生成文档 $d_i$ 的主题分布 $\theta_i$ ，主题分布 $\theta_i$ 由超参数为 $\alpha$ 的Dirichlet分布生成。
从主题的多项式分布 $\theta_i$ 中取样生成文档 $d_i$ 第 $j$ 个词的主题 $z_{i,j}$
从Dirichlet分布中取样生成主题 $z_{i,j}$ 对应的词语分布 $\eta_{z_{i,j}}$ ，词语分布由参数为 $\beta$ 的Dirichlet分布生成
从词语的多项式分布 $\eta_{z_{i,j}}$ 中采样最终生成词语 $w_{i,j}$ 。

在Gibbs采样算法求解LDA的方法中，我们的 $α$ , $η$ 是已知的先验输入,我们的目标是得到各个 $z_{dn}$ , $w_{kn}$ 对应的整体的概率分布，即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法，则对于要求的目标分布，我们需要得到对应分布各个特征维度的条件概率分布。Gibbs Sampling 算法，我们需要求任一个坐标轴 $i$ 对应的条件分布:

只涉及到第 $m$ 篇文档和第 $k$ 个 topic，所以上式的条件概率计算中, 实际上也只会涉及到与之相关的两个Dirichlet-Multinomial 共轭结构，其它的 $M + K - 2$ 个 Dirichlet-Multinomial 共轭结构和它们是独立的
训练过程：

预测过程：

具体计算可以入下面这个ppt所示：

PLSA 和 LDA 的区别

LDA 在 PLSA 的基础上，为主题分布和词分布分别加了两个 Dirichlet 先验。

在PLSA中，我们会以固定的概率来抽取一个主题词，比如0.5的概率抽取教育这个主题词，然后根据抽取出来的主题词，找其对应的词分布，再根据词分布，抽取一个词汇。由此，可以看出PLSA中，主题分布和词分布都是唯一确定的。但是，在LDA中，主题分布和词分布是不确定的，LDA的作者们采用的是贝叶斯派的思想，认为它们应该服从一个分布，主题分布和词分布都是多项式分布，因为多项式分布和狄利克雷分布是共轭结构，在LDA中主题分布和词分布使用了Dirichlet分布作为它们的共轭先验分布。所以，也就有了一句广为流传的话 – LDA 就是 PLSA 的贝叶斯化版本。下面两张图片很好的体现了两者的区别：