LDA（Latent Dirichlet Allocation）是一种主题模型，用于挖掘文档中的语义主题。它通过生成模型分析文档，考虑单词背后的语义关联，而非仅依赖共同出现的单词。LDA包括unigram model、Mixture of unigram和LDA三个方法，其中LDA允许文档包含多个主题，通过Dirichlet分布的参数α和β学习主题和单词概率分布。在训练过程中，使用EM算法和变分法求解。
（一）LDA作用
传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。
举个例子，有两个句子分别如下：
“乔布斯离我们而去了。”
“苹果价格会不会降？”
可以看到上面这两个句子没有共同出现的单词，但这两个句子是相似的，如果按传统的方法判断这两个句子肯定不相似，所以在判断文档相关性的时候需要考虑到文档的语义，而语义挖掘的利器是主题模型，LDA就是其中一种比较有效的模型。
在主题模型中，主题表示一个概念、一个方面，表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。
怎样才能生成主题？对文章的主题应该怎么分析？这是主题模型要解决的问题。
首先，可以用生成模型来看文档和主题这两件事。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到的。那么，如果我们要生成一篇文档，它里面的每个词语出现的概率为：
这个概率公式可以用矩阵表示：
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
