python与7无关的数_与语料大小无关的层次Dirichlet过程Gensim主题数

@Aron和@Roko Mijic的方法忽略了这样一个事实：函数^{}默认情况下只返回每个主题的前20个单词。如果返回组成主题的所有单词，则在这种情况下，所有近似的主题概率将为1(或0.999999)。我尝试了以下代码，这是@Roko Mijic的一个改编：def topic_prob_extractor(gensim_hdp, t=-1, w=25, isSorted=True):

"""

Input the gensim model to get the rough topics' probabilities

"""

shown_topics = gensim_hdp.show_topics(num_topics=t, num_words=w ,formatted=False)

topics_nos = [x[0] for x in shown_topics ]

weights = [ sum([item[1] for item in shown_topics[topicN][1]]) for topicN in topics_nos ]

if (isSorted):

return pd.DataFrame({'topic_id' : topics_nos, 'weight' : weights}).sort_values(by = "weight", ascending=False);

else:

return pd.DataFrame({'topic_id' : topics_nos, 'weight' : weights});

一个更好的，但我不确定是否100%有效，方法是提到的here。可以将HDP模型的主题的真实权重(alpha vector)获取为：alpha = hdpModel.hdp_to_lda()[0];

检查主题的等效alpha值比计算每个主题前20个单词的权重来估计其在数据中的使用概率更符合逻辑。