本文介绍了LDA（潜在狄利克雷分配）算法，一种非监督机器学习技术，用于从文档中挖掘主题。通过Python的gensim库实现LDA模型，对文本数据进行预处理、构建词典、计算TF-IDF，最后训练LDA模型，展示了如何获取文档主题分布和主题中的词分布。
LDA(Latent Dirichlet Allocation)：潜在狄利克雷分布，是一种非监督机器学习技术。它认为一篇文档是有多个主题的，而每个主题又对应着不同的词。一篇文档的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文档的第一个词。不断重复这个过程，就生成了整篇文章(当然这里假定词与词之间是没有顺序的，即所有词无序的堆放在一个大袋子中，称之为词袋，这种方式可以使算法相对简化一些)。
LDA的使用是上述文档生成过程的逆过程，即根据一篇得到的文档，去寻找出这篇文档的主题，以及这些主题所对应的词。LDA是NLP领域一个非常重要的非监督算法。
白话解释：比如document的内容为：[自从乔布斯去世之后，iPhone再难以产生革命性的创新了]
通过上述的方法，document将对应两个主题topic1，topic2，进而，主题topic1会对应一些词：[苹果创始人][苹果手机],主题topic2会对应一些词：[重大革新][技术突破]。于是LDA模型的好处显而易见，就是可以挖掘文档中的潜在词或者找到两篇没有相同词的文档之间的联系。
我们的目标是找到每一篇文档的主题分布和每一个主题中词的分布。
在LDA模型中，我们需要先假定一个主题数K，这样所有的分布就都基于K个主题展开。那么具体LDA模型是怎么样的呢？具体如下图：
最低0.47元/天 解锁文章
2158
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
