lda新闻主题提取_浅谈话题模型：LSA、PLSA、LDA

虽然现在深度学习几乎一统天下，但回顾一下经典还是很有意思的。LSA已经成为经典的经典，UCB的Thomas Hofmann(现在已经到了Google)提出的PLSA，普林斯顿的David Blei提出的LDA，其实在很多应用中还很有效的。

在话题提取问题中，一类经典的模型就是话题模型。 总的来说，话题模型的目标是在大量的文档中自动发现隐含的主题结构信息。在本文中，我们将主要介绍以下几种常见的主题模型:(1)潜在语义分析(LSA)模型;(2)概率潜在语义分析(PLSA)模型;(3)潜在狄利克雷分配(LDA)模型。

接下来我们将一一介绍这些模型，并阐明这些模型的相对优缺点。

潜在语义分析(LSA)模型

在潜在语义分析(LSA)模型 [1] 首先给出了这样一个 ‘‘分布式假设” [2] :一个 单词的属性是由它所处的环境刻画的。这也就意味着如果两个单词在含义上比较接近，那么它们也会出现在相似的文本中，也就是说具有相似的上下文。

简单地说，LSA首先构建了这样一个 ‘‘单词-文档’’ 矩阵:矩阵的每一行表示一个单词， 矩阵的每一列表示一个文章，第 i 行第 j 列的值表示第 i 个单词在第 j 个段落里面出现了几次或者表示该单词的 tf-idf 值 [3,4] 等等。LSA模型在构建好了单词-文档矩阵之后，出于以下几种可能的原因，我们会使用奇异值分解(Singular Value Decomposi