1.主题模型LDA(Latent Dirichlet allocation)
其基本思想是把文档看成各种隐含主题的混合,而每个主题则表现为跟该主题相关的词项的概率分布
LDA基于词袋(bag of words)模型构建,认为文档和单词都是可以交换的,忽略单词在文档中的顺序和文档在语料库中的顺序,从而将文本信息转化为易于建模的数字信息
- 主题就是一个桶,里面装了出现概率较高的单词,这些单词与这个主题有很强的相关性
LDA模型包含此项、主题和文档三层结构
- 本质上,LDA简单粗暴地认为:文章中的每个词都是通过“以一定概率选择某个主题,再从该主题中以一定概率选择某个词”得到的
- 一个词可能会关联多个主题,因此需要计算各种情况下的概率分布,来确定最可能出现的主题是哪种
- 一篇文章可能会涉及到几个主题,因此也需要计算多个主题的概率
2.sklearn实现
# sklearn实现主题模型
# 使用词频矩阵计算得到TF-IDF
# 设定LDA模型
from sklearn.decomposition import LatentDirichletAllocation
n_topics = 10
ldamodel = LatentDirichletAllocation(n_topics)
# 拟合LDA模型
ldamodel.fit(tfidf)
#
print(ldamodel.components_.shape)
ldamodel.components_[:2]