LDA（主题模型）简介

LDA(主题模型)

1、 基本概念

LDA（Latent Dirichlet Allocation）是一种文档主题生成模型。LDA的作用是判断两个文档的相似度，传统的方法使用词共现来判断，例如TF-IDF等，但这种方法未考虑文档的语义结构。LDA模型根据文档中的主题分布来判断文档的相似度。给定一个文档，首先分析出文档中包含哪些主题，然后判断不同文档中各个主题出现的概率大小。
例如下面两句话：
“乔布斯离我们而去了。”
“苹果价格会不会降？”
使用词共现方法无法判断这两句话相似，但是LDA模型可以根据主题词判断出这两 句话是否相似。
其中主题模型的主题是一系列相似度较高的单词（使用条件概率来表示），这些单词代表同一个主题。

2、 生成主题

首先，可以用生成模型来看文档和主题这两件事。所谓生成模型，我们认为一篇文章的每个词都是通过“文档以一定概率选择了某个主题，然后从这个主题中以一定概率选择某个词语”这样一个过程得到的。也就是说，每篇文档先生成主题，根据主题再生成词语。那么，如果我们要生成一篇文档，它里面的每个词语出现的概率为：

给定一系列文档，通过对文档进行分词，计算各个文档中每个单词的词频就可以得到左边的”文档-词语”概率。主题模型就是通过左边的”文档-词语”概率进行训练，学习出右边两个概率。

详细的数学推导：
http://www.360doc.com/content/16/0428/10/478627_554452907.shtml