《学术小白的学习之路 07》自然语言处理之 LDA主题模型 01

---

书山有路勤为径，学海无涯苦作舟（行行代码要手敲）

---

零、吃水不忘挖井人

原文链接

一、LDA主题模型

1.1简介

LDA（文档主题生成模型）通常由包含词、主题和文档三层结构组成。

LDA模型属于无监督学习，它是将一篇文档的每个词都以一定概率分布在某个主题上，并从这个主题中选择某个词语。

文档到主题的过程是服从多项分布的，主题到词的过程也是服从多项分布的。

文档主题生成模型（又称为盘子表示法（Plate Notation），下图是模型的标示图，其中双圆圈表示可测变量，单圆圈表示潜在变量，箭头表示两个变量之间的依赖关系，矩形框表示重复抽样，对应的重复次数在矩形框的右下角显示。LDA模型的具体实现步骤如下：

• 从每篇网页D对应的多项分布θ中抽取每个单词对应的一个主题z。
• 从主题z对应的多项分布φ中抽取一个单词w。

重复步骤(1)(2)，共计Nd次，直至遍历网页中每一个单词。