何为困惑度？

最新推荐文章于 2024-04-20 14:56:16 发布
最新推荐文章于 2024-04-20 14:56:16 发布
阅读量499 收藏
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/I_canjnu/article/details/114683711
版权

简单来说，语言模型越好，困惑度越小

一、理解

困惑度p可以理解为，如果每个时间步都根据语言模型计算的概率分布随机挑词，那么平均情况下，挑多少个词才能挑到正确的那个
在这里插入图片描述

二、影响因素

  1. 训练数据集越大，PPL会下降得更低，dataset大和小，训练效果是很不一样的；

  2. 数据中的标点会对模型的PPL产生很大影响，一个句号能让PPL波动几十，标点的预测总是不稳定。所以清洗数据很重要。；

  3. 预测语句中的“的，了”等词也对PPL有很大影响，可能“我借你的书”比“我借你书”的指标值小几十，但从语义上分析有没有这些停用词并不能完全代表句子生成的好坏。

三、原理

https://www.zhihu.com/question/58482430

出门左拐是海
关注
详解【计算机类&面试真题】军队文职考试——第11期：如果计算机坏了，你该怎么办？何为TCP？何为IP？谈一谈你对区块链的理解和看法。模拟练习：虚拟地址和线性地址的映射，线性地址和物理地址的映射
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
11-14 218
我们继续来学习军队文职（计算机类）面试真题详解（第11期），本次分享的题目有：如果计算机坏了，你该怎么办？何为TCP？何为IP？谈一谈你对区块链的理解和看法。何为虚拟地址、线性地址、物理地址和逻辑地址？它们之间有何区别与联系？（附：模拟练习 虚拟地址和线性地址的映射，线性地址和物理地址的映射，逻辑地址的使用）。谈一谈你对物联网的认识及其发展趋势。开放类题目：如果你的新同事因为工作能力不足，不能完成工作，你作为单位的老同志，你该如何与他沟通，帮助他提高工作能力?
自然语言处理 —— 困惑度
01-06
我们通常用困惑度（perplexity）来评估语言模型的好坏。可以探索一下交叉熵损失函数的定义。困惑度是对交叉熵损失函数做指数运算后得到的值。特别地： 最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1； 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷； 基线情况下，模型总是把预测所有类别的概率都相同，此时困惑度为类别个数。 显然，任何一个有效模型的困惑度必须小于类别个数。 假定交叉熵损失函数为：H(y(i),y^(i))=−∑j=1qyj(i)logy^j(i)H(y^{(i)},\hat{y}^{(i)})=-\sum_{j=1}^qy_j^{(i)}log\h
NLP基础知识点：困惑度（Perplexity）
梆子井欢喜坨的博客
04-30 2万+
词序列的条件概率越高，困惑度越低。因此，根据语言模型，最小化困惑相当于最大化测试集概率。 公式如下： 困惑度可以理解为，如果每个时间步都根据语言模型计算的概率分布随机挑词，（假设所有的词出现的概率相同）那么平均情况下，挑多少个词才能挑到正确的那个。 ...
困惑度 | NLP中对"困惑度"感到困惑?
zenRRan的博客
12-22 856
每天给你送来NLP技术干货！干货作者：时晴来自：炼丹笔记困惑度(Perplexity)在NLP中是个最流行的评估指标,它用于评估语言模型学的到底有多好.但是很多炼丹师可能至今对"困惑度...
困惑度理解
hlang8160的博客
09-12 3468
引子：语言模型简介 所谓语言模型（Language Model，LM），即给定一句话的前k个词，我们希望语言模型可以预测第k+1个词是什么，即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1x2...xk)。 衡量一个语言模型的好坏，最好的方法就是将其应用到具体的问题当中，比如机器翻译、speech recognition、spelling corrector等。然后看这个语言模型在...
NLP知识点 - perplexity 困惑度
春天
12-13 2681
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。
“公平”对于机器学习系统意味着什么？.docx
04-23
3. **可解释性增强**：提高模型的透明度和可解释性，使得用户能够理解模型是如何做出决策的，从而识别潜在的不公平性。 4. **持续监测与更新**：随着时间的推移和社会价值观的变化，定期重新评估模型的公平性，并...
阳明心学有什么用？
GitChat
04-12 1万+
当今对阳明心学的学习，易入三种潮流：学术的，远离生活；断其一节的，不够究竟；听故事的，止于真他妈牛。 笔者数年通读《王阳明全集》，及钱穆、张君劢、董平及石悦等诸家论述。处困守厄，沉思凝虑。学习之因不是为了学术研究，而是解答自己对于宇宙人生的困惑。学习之果不是为了沽名钓誉，而是融入自己的生活。 本文将分两部分，并非权威解读，只为分享所学。第一部分剥除传奇，陈述王阳明生平思想，力求简洁完备。第二部分分...
2021 Java面试真题集锦
热门推荐
GL1765852966的博客
12-26 8万+
目录 … 1 大厂面试的基本流程 17 字节跳动 17 阿里 17 腾讯 18 网易游戏 18 面试前需要准备： 18 面试中可以借鉴的套路 19 用简历争取到更多的面试机会 19 自我介绍时，立即全面抛出技术栈和亮点 20 先介绍项目背景，打消面试官疑问 21 通过说项目管理工具，说明你不仅会写代码 22 用 SPRING BOOT 项目举例，说明你的技术基本面 23 用实例说明你在内存调优方面的经验 24 展示你在数据库调优方面的经验 25 总结前文说辞 26 准备项目说辞时，更可以准备后继面试官的问
2022年Java 工程师面试题
weixin_42572320的博客
03-03 2582
第 1 页 共 485 页 目录 1、什么是 Mybatis？............................................................................... 33 2、Mybaits 的优点：............................................................................... 33 3、MyBatis 框架的缺点：.............................
困惑度：一种新的优化方法
qq_24951479的博客
05-04 1455
困惑度作为一种新的优化方法，具有计算量小、直观、可用于模型选择等优点。与其他优化方法不同的是，困惑度是一种基于概率的指标。在实际应用中，我们可以使用 PyTorch 实现困惑度的计算过程，并使用困惑度来衡量模型的表现。
循环神经网络中困惑度(perplexity)
PCRMINA的博客
02-14 675
最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1; 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正⽆无穷; 基线情况下，模型总是预测所有类别的概率都相同，此时困惑度为类别个数 所以任何一个有效模型的困惑度必须小于类别个数 ...
NLP 之 Perplexity困惑度
hxxjxw的博客
02-20 495
困惑度 Perplexity 是衡量语言模型好坏的指标 困惑度是交叉熵的指数形式 perplexity 越小，表示语言模型越好
困惑度 (perplexity)
data+scenario+science+insight
05-21 5473
困惑度 (perplexity) 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 对于LDA模型，最常用的两个评价方法困惑度（Perplexity）、相似度（Corre）。 其中困惑度可以理解为对于一篇文章d，所训练出来的模型对文档d属于哪个主题有多不确定，这个不确定成都就是困惑度。困惑度越低，说明聚类的效果越好。 对于不同Topic所训练出来的模型，计算它的困惑度。最小困惑度所对应的Topic就..
困惑度perplexity
lhyyhlfornew的博客
10-18 1630
看了网上许多对困惑度的解释看的我相当困惑，各种公式什么的也看不明白，总结其中最简单直观的解释是：困惑度反应的是你的模型对预测下一个字符时有多少可选项，困惑度越低说明你的模型对下一个字符预测的把握越大，比如当困惑度为20时说明你的模型在预测下一个字符时它有20个选项，然后它就很困惑要选哪个毕竟有20个选项都很有可能是正确的，当困惑度接近1时说明你的模型预测下一个字符只有一个可选项，这从侧面也反映你的...
语言模型的评估-困惑度
lujiandong1的专栏
11-21 2万+
语言模型评价 语言模型构造完成后，如何确定好坏呢？ 目前主要有两种评价方法： 实用方法：通过查看该模型在实际应用（如拼写检查、机器翻译）中的表现来评价，优点是直观、实用，缺点是缺乏针对性、不够客观； 理论方法：迷惑度/困惑度/混乱度（preplexity），其基本思想是给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的
解惑深度学习中的困惑度Perplexity
Axlsss的博客
04-20 1623
解惑深度学习中的困惑度Perplexity
困惑度PPL (perplexity)
hxxjxw的博客
07-31 1万+
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
1.何为理论创新？何为理论自信？
最新发布
05-31
理论创新指的是在某一领域内，提出一种新的理论或者对已有理论进行重大改进的过程。这种创新通常需要对该领域内的知识积累有深入的理解，同时还需要具备创新思维和创造性思考能力。 而理论自信则是指在某一领域内，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值