(python )LDA perplexity计算

最新推荐文章于 2024-09-06 11:29:08 发布

qklwdd6

最新推荐文章于 2024-09-06 11:29:08 发布

阅读量2.9k

点赞数 2

分类专栏： python LDA

本文链接：https://blog.csdn.net/qklwdd6/article/details/80142851

版权

该博客介绍了如何使用Python进行LDA模型的困惑度计算，内容包括代码示例，是基于一篇Java版本的文章改写而成，强调了Python在处理此类任务时的简洁性。

摘要由CSDN通过智能技术生成

前期训练数据使用的工具包是LDA， [ 文档传送 ]

如果需要Java版本，可以参考下面链接，本文也是基于此文改写为python，不得不说，python还是要简洁的多哈哈
https://blog.csdn.net/dongweionly/article/details/50286961

代码

'''
dw是文档-词矩阵，dt是经过LDA训练后的文档-主题矩阵，tw是经过LDA训练后的主题-词矩阵
'''
def compute_perplexity(doc_word,doc_topic,topic_word):

    sum_ln_pt = 0
    sum_t = 0
    for doc_n,a in enumerate(doc_word):