基于sklearn实现LDA主题模型（附实战案例）

目录

LDA主题模型

1.LDA主题模型原理

2.LDA主题模型推演过程

3.sklearn实现LDA主题模型（实战）

3.1数据集介绍

3.2导入数据

3.3分词处理

 3.4文本向量化

3.5构建LDA模型

3.6LDA模型可视化 

3.7困惑度 

---

LDA主题模型

1.LDA主题模型原理

        其实说到LDA能想到的有两个含义，一种是线性判别分析（Linear Discriminant Analysis），一种说的是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA）。
        现在讨论的是主题模型这个东西，它通俗点说吧，就是可以将一篇文中的主题以概率分布的形式来给出，从而通过去分析一些文档抽取出来它们的主题（分布）以后，就可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋子模型，也就是说一篇文档是由一组词构成，词与词之间没有先后顺序的关系。除此之外，一篇文章它可以包含多个主题，文章中每一个词都由是其中的一个主题生成。
        我们其实很简单就可以想到我们是如何生成的文章？就是给几个主题，然后按一定的概率去选择主题，以一定的概率选择这个主题所包含的词汇，最终组合成一