LDA模型原理+代码+实操

LDA模型主要用来生成TOPIC

目录

前言

一、原理

二、代码

1.引入库

 2.路径读取

3.分词

4.LDA分析

5.输出每个主题对应词语

6.输出每篇文章对应主题 

7.可视化 

8.困惑度

三、实操

总结

---

---

前言

LDA模型需要一定的数学基础去理解，但是理解成黑盒也能一样用。

一、原理

可以通过以下资料详细了解原理。

【python-sklearn】中文文本 | 主题模型分析-LDA(Latent Dirichlet Allocation)_哔哩哔哩_bilibili

https://www.jianshu.com/p/5c510694c07e

主题模型：LDA原理详解与应用_爱吃腰果的李小明的博客-CSDN博客_lda模型

主题模型-潜在狄利克雷分配-Latent Dirichlet Allocation(LDA)_哔哩哔哩_bilibili

隐含狄利克雷分布（Latent Dirichlet Allocation，LDA），是一种主题模型（topic model），典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。它可以将文档集中每篇文档的主题按照概率分布的形式给出，对文章进行主题归纳，属于无监督学习。

需要区分的是，另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称也为LDA）。此LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用

LDA在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可。此外LDA的另一个优点则是，对于每一个主题均可找出一些词语来描述它。选择模型中topic的数量——人为设置参数，之后输入的每篇文章都给一个topic的概率 每个topic再给其下单词概率，topic的具体实现由自己来定