困惑度PPL

最新推荐文章于 2024-04-13 09:25:53 发布
最新推荐文章于 2024-04-13 09:25:53 发布
阅读量3.6k 收藏 3
点赞数 6
分类专栏： NLP 文章标签： 困惑度 PPL 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ding_programmer/article/details/90141428
版权

语言模型中经常使用困惑度来作为语言模型的评价

对于一段 句子(sentence) s 由词构成，即： s=w_1w_2\cdot \cdot \cdot w_n ，w代表词

\large PPL(S)=P(w_1w_2 \cdot \cdot \cdot w_N)^{-1/N}

对两边都取 对数 则：

\large {\rm log} PPL(S)=\frac{-{\rm log}P(w_1w_2 \cdot \cdot \cdot w_N)}{N}=\frac{-\sum\limits_{i=1}^{N}{\rm log}P(w_1w_ 2\cdot \cdot \cdot w_{i-1})}{N}

所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型

木禾DING
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-04 1836
​ LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、代码实现 目录 Chinese-LLaMA-Alpaca-2项目中的PPL代码实现 两种近似算法计算固定长度语言模型的困惑度 文章地址：https://huggingface.co/docs/transformers/perplexity Perplexity of fixed-length models固定长度模型困困惑度 PPL是GPT-St
深度学习学习笔记(一)
云舒的博客
02-13 1227
（一）线性回归 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。 优化函数 - 随机梯度下降 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损...
困惑度（Perplexity）的计算方法和意义
最新发布
m0_48923489的博客
04-13 2319
困惑度（Perplexity）是一种用于评估语言模型性能的指标，特别是在自然语言处理领域中。它衡量的是模型对一组样本数据的预测能力，通常用于评估语言模型的预测准确度和泛化能力。
困惑度PPL (perplexity)
hxxjxw的博客
07-31 9504
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
shawroad的博客
04-20 1万+
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...
NLP知识点 - perplexity 困惑度
春天
12-13 1624
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。
语言模型困惑度的两种形式及python实现
dianyanxia的博客
07-26 2690
转 语言模型困惑度的两种形式及python实现 - 海晨威的文章 - 知乎 https://zhuanlan.zhihu.com/p/57852713 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 在网上关于语言模型困惑度的介绍文章中，一般会看到以下两种形式： ...
PPL计算1
08-03
(1). 021033210023: log10 PPL = 1.2166224866923079, PPL = 16.467303381304372 (2).
NLP数据集movie_subtitles.txt
03-19
一种对话的数据集，是从电影对话中裁剪下来的。具体可应用在NLP领用，建议seq2seq模型，是做聊天机器人时使用的数据集，聊天机器人具体代码可私信我。
pylm:Python中的语言模型实现
06-12
4. **评估指标**：提供诸如困惑度（Perplexity）这样的标准评估指标，来衡量模型对未知数据的预测能力。 5. **序列生成**：训练完成后，可以利用模型生成新的文本序列，如自动生成诗歌、新闻等。 6. **序列完成**：...
作业1-SRILM实验1
08-08
实验记录了每个阶段的困惑度（perplexity, ppl）和ppl1的结果，这是评估语言模型性能的重要指标，困惑度越低表示模型预测句子的能力越强。尽管由于训练集和测试集的样本数量较少，这些困惑度的差异可能不太具有统计...
wikitext-2-v1
06-24
对于语言建模，常见的评估指标有困惑度（Perplexity）、BLEU分数（对于翻译任务）以及词错误率（Word Error Rate）等。困惑度越低，模型对语言的理解越好。 6. **挑战与应用**： wikitext-2-v1虽然规模适中，但其...
困惑度perplexity
lhyyhlfornew的博客
10-18 1485
看了网上许多对困惑度的解释看的我相当困惑，各种公式什么的也看不明白，总结其中最简单直观的解释是：困惑度反应的是你的模型对预测下一个字符时有多少可选项，困惑度越低说明你的模型对下一个字符预测的把握越大，比如当困惑度为20时说明你的模型在预测下一个字符时它有20个选项，然后它就很困惑要选哪个毕竟有20个选项都很有可能是正确的，当困惑度接近1时说明你的模型预测下一个字符只有一个可选项，这从侧面也反映你的...
利用Srilm简单进行语言模型估计并进行困惑度测试
在大海里翱翔的猪
11-25 985
利用Srilm进行简单语言模型估计并进行困惑度测试 1、 srilm主要用来估计语言模型，并对该模型进行评价。估计是从训练数据中得到一个语言模型，而评价是计算该语言模型的困惑度。 2、 实验先从训练数据文件data.txt生成n-gram计数文件data_count2.count： ngram-count -text data.txt -order 2 -write data_count2.cou...
NLP基础知识点：困惑度（Perplexity）
热门推荐
梆子井欢喜坨的博客
04-30 2万+
词序列的条件概率越高，困惑度越低。因此，根据语言模型，最小化困惑相当于最大化测试集概率。 公式如下： 困惑度可以理解为，如果每个时间步都根据语言模型计算的概率分布随机挑词，（假设所有的词出现的概率相同）那么平均情况下，挑多少个词才能挑到正确的那个。 ...
使用BERT和GPT-2计算句子困惑度PPL
kaimMarch的博客
09-29 9638
定义 BERT https://github.com/xu-song/bert-as-language-model https://stackoverflow.com/questions/63030692/how-do-i-use-bertformaskedlm-or-bertmodel-to-calculate-perplexity-of-a-sentence https://github.com/ymcui/Chinese-BERT-wwm 对于给定的sentence，按顺序依次mask掉一个token
BERT（五）
brandday的博客
10-18 544
5 Ablation Studies 在本节中，我们将对BERT的多个方面进行消融实验，以更好地了解它们的相对重要性。其他消融研究可在附录C中找到。 5.1 Effect of Pre-training Tasks 通过使用与BERT-BASE完全相同的预训练数据，微调方案和超参数来评估两个预训练目标，我们证明了BERT的深度双向的重要性： **No NSP：**使用“带掩码的LM”（MLM）训练...
NLP 之 Perplexity困惑度
hxxjxw的博客
02-20 467
困惑度 Perplexity 是衡量语言模型好坏的指标 困惑度是交叉熵的指数形式 perplexity 越小，表示语言模型越好
高性能深度学习推理平台 OpenPPL 正式开源！
Aceyclee的博客
07-14 2148
OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上，为云端场景提供人工智能推理服务。 官网：openppl.ai 在刚刚举行的 2021 世界人工智能大会（WAIC）上，商汤科技正式推出 OpenPPL 计划 —— 决定将深度学习推理部署引擎 SensePPL 中云端推理的能力开源给技术社区，从而加速 AI 技术的普及与进步！ ▎把推理交给 OpenPPL，把时间还给思考 OpenPPL 基于全自研高性能算子库，拥有极
对DMM模型调参，使用困惑度指标选择最近K。计算模型困惑度
06-02
DMM模型是一种基于深度学习的主题模型，其调参和计算困惑度的方法与传统的主题模型略有不同。 以下是使用DMM模型计算困惑度的Python代码示例： ```python import numpy as np from gensim.models.wrappers import DtmModel from gensim.corpora import Dictionary from gensim.test.utils import get_tmpfile # 准备数据 corpus = ["文本1", "文本2", ...] docs = [[word for word in doc.split()] for doc in corpus] dictionary = Dictionary(docs) corpus = [dictionary.doc2bow(doc) for doc in docs] # 训练DMM模型 num_topics = 10 model_path = get_tmpfile("dmm_model") dmm_model = DtmModel("path_to_dtm_binary", corpus, num_topics, id2word=dictionary, initialize_lda=True, alpha=0.01, top_chain_var=0.005, rng_seed=0, model_path=model_path) # 计算困惑度 ppl = dmm_model.log_perplexity(corpus) print("困惑度：", np.exp2(-ppl)) ``` 需要注意的是，DMM模型的调参和计算困惑度需要使用DTM工具包，需要先安装DTM工具包并将其路径填入代码中的"path_to_dtm_binary"参数中。此外，DMM模型的训练时间可能比较长，在实际应用中需要考虑模型的训练时间和计算资源的限制。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值