lda主题模型困惑度_困惑度(perplexity)的基本概念及多种模型下的计算（N-gram, 主题模型, 神经网络）...

最新推荐文章于 2023-05-29 23:45:01 发布
最新推荐文章于 2023-05-29 23:45:01 发布
阅读量6.1k 收藏 7
点赞数 2
文章标签： lda主题模型困惑度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32328999/article/details/112195896
版权

358ad13007f831f121dabdf5a7827ba8.png

让人困惑的困惑度

发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的。但是现在这个年代来学习这个指标的人多半都是想研究神经网络的，而两者对困惑度的计算方法又很不同，这就不能不让人对“困惑度”感到“困惑”了。本人虽然才疏学浅，还是斗胆在这里尝试写一篇文章，试图用简洁的方式来梳理清楚其中的困惑。

困惑度的基本定义

首先，困惑度是用来评价语言模型好坏的指标。语言模型是衡量句子好坏的模型，本质上是计算句子的概率：

对于句子s（词语w的序列）：

b184947b2494b0dfd56243b7188e4546.png

它的概率为：【公式1】

7030ffa2c73d34514d3734dda9930431.png
公式1

困惑度与测试集上的句子概率相关，其基本思想是：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好[1]，公式如下：

f20a3c6e34048f5179f4cd3d53278919.png

这里想补充一下参考资料里没有强调的一些点

    最低0.47元/天 解锁文章
    宇文护泰
    关注
    • 2
      点赞
    • 踩
    • 7
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    Multitask learning techniques for natural language processing
    禅与计算机程序设计艺术
    07-31 3077
    作者：禅与计算机程序设计艺术Multitask learning is a machine learning technique that allows multiple related tasks to be learned simultaneously from the same data and then used together for better performance in each task. In recent years, multitask learning has emerged
    LDA主题模型
    celine0227的博客
    04-24 2222
    LDA 模式是生成式模型，在这里，假设需要建模的数据为 X，标签信息为 Y。判别式模型：对 Y的产生过程进行描述，对特征信息本身不建模。判别式模型有利于构建分类器或者回归分析生成式模型时需要对 X和 Y 同时建模，更适合做无监督学习分析。生成式模型：描述一个联合概率分布 P(X,Y)的分解过程，这个分解过程是虚拟的过程，真实的数据不是这么产生的，但是任何一个数据的产生过程可以在数学上等价为一个联合概率分布。
    困惑度(perplexity)的基本概念及比较多种模型下的计算（N-gram, 主题模型/LDA, 神经网络/RNN）
    热门推荐
    blmoistawinde的博客
    03-19 1万+
    发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的。但是现在这个年代来学习这个指标的人多半都是想研究神经网络的，而两者的对困惑度的计算方法又很不同，这就不能不让人对“困惑度”感到“困惑”了。本人虽然才疏学浅，还是斗胆在这里尝试写一篇文章，试图用简洁的方式来梳理清楚其中的困惑。 困惑度的基本定义 首先，困惑度是用来评价语言模型好坏的指标。语言模型...
    perplexity 衡量指标_困惑度(perplexity)的基本概念及多种模型下的计算（N-gram, 主题模型, 神经网络）...
    weixin_39827585的博客
    12-22 1365
    让人困惑的困惑度发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的。但是现在这个年代来学习这个指标的人多半都是想研究神经网络的，而两者对困惑度的计算方法又很不同，这就不能不让人对“困惑度”感到“困惑”了。本人虽然才疏学浅，还是斗胆在这里尝试写一篇文章，试图用简洁的方式来梳理清楚其中的困惑。困惑度的基本定义首先，困惑度是用来评价语言模型好坏的指...
    NLP基础知识（语法语义、LDA、N-gram、词嵌入）
    C语言/数据结构/数学建模/深度学习/生物信息
    05-29 867
    来自Manolis Kellis教授（MIT计算生物学主任）的课《人工智能与机器学习》。本文是NLP的铺垫，很多基础的知识，讲的主要是传统的一些方法，对于深入现代的RNN、LSTM、BERT、Transformer、GPT等等模型可以说是必备的。主要讲了文本的语法和语义关系、不确定性（医学文本）、LDA主题模型、N-gram models、词嵌入是啥（embedding）。解决了我以前只学模型的一些困惑。最后粗略的过了一下大语言模型（LLMs）并给出了几个好的视频链接（台大李宏毅）。
    [文献阅读]——ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for NLU(TBC)
    jokerxsy的博客
    05-11 2554
    引言 BERT的缺点: BERT的MLM关注细粒度文本单元的表示（word\subword\characters），而很少考虑粗粒度的语言学上的信息（命名实体\短语\中文的单词） 前人进一步的工作: 独立地掩膜、预测连续的n-grams（命名实体、短语、text spans） 本文的观点: 前人关于n-grams的工作忽略了n-grams内部的依赖 特别的，给定一个被掩膜的n-grams w={x1,x2,...xnx_1,x_2,...x_nx1​,x2​,...xn​},x∈VFx∈V_Fx∈
    word2vec之CBOW模型与skip-gram模型
    zxhohai的博客
    10-11 3643
    在对自然语言进行处理时，首先需要面对文本单元表示问题。单词（words）作为常考虑的最小文本单元，因而，如何将单词表示成恰当的词向量（word vector）成为了研究者们研究的重点。最简单直观的方法是one-hot representation，也称1-of-N representation，这种方式将每个单词表示成一个词汇表（vocabulary）大小的向量，其中绝大部分元素都是0，只有一个维...
    Task02：文本预处理/语言模型/循环神经网络基础
    u012117153的博客
    02-14 321
    1.文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 1.读入文本 2.分词 3.建立字典，将每个词映射到一个唯一的索引（index） 4.将文本从词的序列转换为索引的序列，方便输入模型 细节搬运自： https://blog.csdn.net/lt326030434/article/details/85240591...
    perplexity 衡量指标_求通俗解释NLP里的perplexity是什么？
    weixin_39805998的博客
    12-22 1270
    高赞回答讲得已经非常通俗易懂，不过由于自然语言处理的发展，出现了许多不同类型的模型，对困惑度这个指标的计算方法颇有不同(包括前面的高赞回答也只是展开了一个子集)，常常让人摸不着头脑。所以这个回答旨在尽量全面地梳理不同语境下的perplexity的计算，帮助解决因为这些历史原因造成的困惑。润风：困惑度(perplexity)的基本概念及多种模型下的计算(N-gram, 主题模型, 神经网络)​zhu...
    第2篇-《Efficient Estimation of Word Representations in Vector Space》（即word2vec原始论文）阅读心得分享
    Haitaifantuan
    09-23 2028
    《Efficient Estimation of Word Representations in Vector Space》（即word2vec原始论文）阅读心得分享论文原文链接 论文原文链接 link[]
    用python计算lda语言模型的困惑度并作图
    04-19
    "用python计算lda语言模型的困惑度并作图" 该资源主要介绍了使用Python计算LDA语言模型的困惑度并将其可视化的过程。困惑度是一种常用的评估语言模型好坏的指标，通常在自然语言处理中使用。该资源提供了详细的...
    LDA.zip_LDA文档_lda java_lda4085_lda模型_主题模型
    09-14
    Mallet是一个流行的Java工具包，提供了多种机器学习算法，包括LDA主题模型的实现。使用Mallet进行LDA训练时，需要将文本数据转换为适合Mallet的格式，然后配置模型参数，如主题数、迭代次数等，最后运行训练得到主题...
    LDA.rar_LDA 文档主题_java LDA_lda_lda java_lda模型
    09-24
    LDA模型可用于信息检索、推荐系统、社交网络分析等多种应用场景。 **LDA的局限性和扩展** LDA模型的一个主要局限是它假设主题是离散的，且主题间的词语独立，这在实际文本中并不总是成立。此外，LDA对文档长度敏感...
    【项目实战】Python实现基于LDA主题模型进行电商产品评论数据情感分析
    02-14
    《Python实现基于LDA主题模型进行电商产品评论数据情感分析》 该项目实战旨在利用Python编程语言，结合LDA（Latent Dirichlet Allocation）主题模型，对电商产品评论数据进行深度的情感分析。LDA是一种无监督机器...
    lda.zip_LDA 文本主题_completelyt7z_lda_organizedfpq_主题模型
    07-14
    建立文本主题模型,中文结巴分词，一致性分数计算
    鹈鹕算法POA-Kmean-Transformer-LSTM组合状态识别分类【含Matlab源码 6749期】.zip
    08-02
    CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化Kmeans-Transformer-lstm分类预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化Kmeans-Transformer-lstm分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化Kmeans-Transformer-lstm分类 4.4.3 灰狼算法GWO/狼群算法WPA优化Kmeans-Transformer-lstm分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化Kmeans-Transformer-lstm分类 4.4.5 萤火虫算法FA/差分算法DE优化Kmeans-Transformer-lstm分类 4.4.6 其他优化算法优化Kmeans-Transformer-Lstm分类
    三角测量拓扑聚合器TTAO-Kmean-Transformer-BiLSTM负荷预测【含Matlab源码 6686期】.zip
    08-02
    CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法优化Kmeans-Transformer-Bilstm预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO优化Kmeans-Transformer-Bilstm预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA优化Kmeans-Transformer-Bilstm预测 4.4.3 灰狼算法GWO/狼群算法WPA优化Kmeans-Transformer-Bilstm预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA优化Kmeans-Transformer-Bilstm预测 4.4.5 萤火虫算法FA/差分算法DE优化Kmeans-Transformer-Bilstm预测 4.4.6 其他优化算法优化Kmeans-Transformer-Bilstm预测
    S9300X-V200R021C00SPC100-MPUE主控版本
    08-02
    S9300X-V200R021C00SPC100-MPUE主控版本，支持S9300X-4/8/12
    【创新未发表】Matlab实现哈里斯鹰优化算法HHO-RF实现风电预测算法研究.rar
    最新发布
    08-02
    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
    计算lda主题模型困惑度和一致性
    06-02
    计算LDA主题模型的困惑度和一致性，可以使用gensim库中的CoherenceModel方法。下面是一个示例代码： ```python from gensim.models import LdaModel from gensim.corpora import Dictionary from gensim.models....
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值