关于《后浪》的B站弹幕分析总结（四）——Python实现LDA内容主题挖掘及主题可视化

• B站视频《[数说弹幕]我不小心看了后浪弹幕》
• 关于《后浪》的B站弹幕分析总结（一）——爬取B站视频的上万条弹幕的方法
• 关于《后浪》的B站弹幕分析总结（二）——分词常用的词典、颜文字处理以及格式统一
• 关于《后浪》的B站弹幕分析总结（三）——怎么制作好看的交互式词云

这一步的实现是建立在分词工作已经做好了的基础上，具体方法可以参考我之前的文章，这里不再重复说明。这里介绍两种方法，两种方法都好用，看你习惯哪种了。

一、使用sklearn里面的LatentDirichletAllocation做主题挖掘

from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer #基于TF-IDF的词频转向量库
tf_vectorizer=TfidfVectorizer(stop_words=stoplist,tokenizer=jieba_cut,use_idf=True) #创建词向量模型,这里的jieba_cut是自定义的分词函数
tf=tf_vectorizer.fit_transform(comment_list) #将评论关键字列表转换为词向量空间

from sklearn.decomposition import LatentDirichletAllocation #导入 LDA模型库
n_topics=5 #设置主题个数
lda=LatentDirichletAllocation(n_components=n_topics,max_iter=200,
                               learning_method='online',
                               learning_offset=50.,
                               random_state=0)
lda.fit(tf)#拟合模型

得到下面模型结果

LatentDirichletAllocation(batch_size=128, doc_topic_prior=None,
                          evaluate_every=-1, learning_decay=0.7,
                          learning_method='online', learning_offset=50.0,
                          max_doc_update_iter=100, max_iter=50,
                          mean_change_tol=0.001, n_components=5, n_jobs=None,