文本挖掘学习（四） 主题模型、LDA

1.主题模型LDA（Latent Dirichlet allocation）

其基本思想是把文档看成各种隐含主题的混合，而每个主题则表现为跟该主题相关的词项的概率分布

LDA基于词袋（bag of words）模型构建，认为文档和单词都是可以交换的，忽略单词在文档中的顺序和文档在语料库中的顺序，从而将文本信息转化为易于建模的数字信息

• 主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性

LDA模型包含此项、主题和文档三层结构

• 本质上，LDA简单粗暴地认为：文章中的每个词都是通过“以一定概率选择某个主题，再从该主题中以一定概率选择某个词”得到的
• 一个词可能会关联多个主题，因此需要计算各种情况下的概率分布，来确定最可能出现的主题是哪种
• 一篇文章可能会涉及到几个主题，因此也需要计算多个主题的概率

 

---

2.sklearn实现

# sklearn实现主题模型
# 使用词频矩阵计算得到TF-IDF
# 设定LDA模型
from sklearn.decomposition import LatentDirichletAllocation

n_topics = 10
ldamodel = LatentDirichletAllocation(n_topics)
# 拟合LDA模型
ldamodel.fit(tfidf)
# 
print(ldamodel.components_.shape)
ldamodel.components_[:2]