暑期实训过程记录-LDA算法学习（4）

LDA算法的基本思想

  LDA算法的理论基础是贝叶斯理论,实现的基础是文档中的主题的先验分布和主题中词的先验分布都服从狄利克里分布。

LDA的生成过程

1.对每篇文档，在主题分布中抽取一个主题

2.对抽到的主题所对应的单词分布中随机抽取一个单词

3.重复上述过程直至遍历整篇文档中的每个单词

4.经过以上三步，就可以看一下两个分布的乘积，是否符合给定文章的分布，以此来调整。

  上述过程主要是根据数据集生成文档-主题分布矩阵和主题-词分布矩阵
核心公式 P(词 | 文档)=P（词 | 主题）P（主题 | 文档）

算法实现步骤

加载已有的文档数据集

加载停用词表

对数据集中的文档进行分词

根据停用词表，过滤干扰词

根据训练集训练算法
 
 
 
文章参考：
NLP关键字提取技术之LDA算法原理与实践
Python与自然语言处理——关键词提取算法