LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现

已于 2024-04-05 00:11:32 修改
阅读量3.1k 收藏 16
点赞数 5
分类专栏： NLP/LLMs 精选(人工智能+AIGC)-高级 文章标签： PPL 大语言模型
于 2024-04-04 23:46:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/137385766
版权
本文深入探讨了固定长度模型如GPT-2的困惑度(PPL)计算，包括两种近似算法：独立计算每个子序列的PPL和滑动窗口策略。滑动窗口策略虽然计算复杂度高，但能提供更精确的困惑度评估。通过GPT-2在WikiText-2数据集上的实例，展示了如何实施这两种策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现

导读：这篇文章主要分析了固定长度模型计算困惑度(perplexity)的问题。首先给出了困惑度的定义。困惑度反映了模型预测序列每个token的能力，是经常用于评估语言模型的一个重要指标。对于顺序语言模型，可以将序列分解为条件概率，然后计算困惑度。但对于固定长度模型，如GPT系列，由于模型有最大输入长度限制，无法得到条件上下文所有token的概率。文章提出了两种计算困惑度的方法：

T1、将序列切分为不相交的块，分别计算每个块的负对数似然，然后相加。这种方法计算简单，但近似不准，通常得到的困惑度值会更高。

T2、使用滑动窗口策略。将上下文窗口按一定步长滑动计算每个token的条件概率。这种方法近似真实分解，通常能得到更佳的困惑度值。但计算代价较高。

文中以GPT-2为例，加载WikiText-2数据集，使用不同步长的滑动窗口策略计算困惑度。步长等于最大输入长度时，等效于第一种方法。步长减小可以使模型在预测每个token时拥有更多上下文，通常困惑度会更低。

总之，这篇文章系统介绍了固定长度模型计算语言模型困惑度的问题，给出了两种近似算法，并通过实验证明使用滑动窗口策略计算结果更准确且更佳。为固定长度模型下的困惑度计算提供了重要参考。

目录

两种近似算法计算固定长度语言模型的困惑度

Perplexity of fixed-length models固定长度模型困困惑度

PPL是GPT-Style模型的评估指标

PPL的具体计算公式

Calculating PPL with fixed-length models使用固定长度模型计算 PPL

T1、基序列分解策略计算PPL：独立计算每个子序列的PPL+简单快速+易导致较高的PPL值(因较少的上下文)

T2、基于滑动窗口策略计算PPL：重复滑动上下文窗口+每个预测步骤中有更多的上下文+计算较慢+但更有效

Example: Calculating perplexity with GPT-2 in Transformers用GPT-2计算Transformer中的困惑度

用GPT-2来演示

实现代码

加载WikiText-2数据集并使用几种不同的滑动窗口策略评估困惑度

实

了解本专栏 订阅专栏 解锁全文
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4982
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
LLMs之Baichuan2：Baichuan2-192K的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-31 1347
​ LLMs之Baichuan2：Baichuan2-192K的简介、安装、使用方法之详细攻略 目录 Baichuan2-192K的简介 Baichuan2-192K的安装 Baichuan2-192K的使用方法 Baichuan2-192K的简介 2023年10月30日，百川智能发布的Baichuan-192K长窗口大模型，在上下文窗口长度上远远超过了Claude 2-100K，而且在文本生成质量、上下文理解、问答能力等多个维度的评测中，也取得了全面领先。 更大的上下文窗口，可以
NLP知识点 - perplexity 困惑度
春天
12-13 4973
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。
困惑度（Perplexity，简称PPL）在自然语言处理中的全面解析
最新发布
阿正的梦工坊
04-12 760
困惑度（Perplexity，简称PPL）是自然语言处理（NLP）和大语言模型（LLM）领域中常用的评估指标，用于衡量语言模型对文本的建模能力。通俗来说，困惑度反映了模型在预测下一个词时的“困惑”程度：困惑度越低，说明模型对文本的预测越准确，建模能力越强。
困惑度PPL (perplexity)
hxxjxw的博客
07-31 1万+
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
如何计算文本的困惑度perplexity(ppl)
qq_52852138的博客
07-31 1万+
本文关注在Pytorch中如何计算困惑度ppl, 为什么能用cross-entropy loss 代表ppl。
困惑度PPL
ding_programmer的博客
05-12 3842
语言模型中经常使用困惑度来作为语言模型的评价 对于一段 句子(sentence) s 由词构成，即： ，w代表词 对两边都取 对数 则： 所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型 ...
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
热门推荐
shawroad的博客
04-20 1万+
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...
[论文阅读]Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text
m0_52911108的博客
12-05 570
本文提出的 Binoculars 方法通过结合原始困惑度和交叉困惑度的比值，成功克服了传统基于困惑度检测方法的局限性，如提示词干扰、对生成模型的依赖等问题。本文的核心贡献是提出了 Binoculars 方法，通过结合原始困惑度和交叉困惑度的比值，消除了提示词对困惑度的干扰，并提高了检测的准确性和鲁棒性。本文提出的研究动机是开发一种通用、零样本且高鲁棒的生成文本检测方法，能够适应不同的生成模型和多语言、多领域的环境。消除提示词干扰：通过交叉困惑度有效避免提示词对困惑度的干扰，克服了传统困惑度方法的水豚问题。
RAG排序策略探索——基于GPT2的PPL的方案
JingYi的专栏
01-24 802
RAG排序策略探索——基于GPT2的PPL的方案
Perplexity
gowithme11123123的博客
01-10 5901
PPL(Perplexity) 是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。
困惑
02-17
困惑
自然语言处理 —— 困惑度
01-06
我们通常用困惑度（perplexity）来评估语言模型的好坏。可以探索一下交叉熵损失函数的定义。困惑度是对交叉熵损失函数做指数运算后得到的值。特别地： 最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1； 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷； 基线情况下，模型总是把预测所有类别的概率都相同，此时困惑度为类别个数。 显然，任何一个有效模型的困惑度必须小于类别个数。 假定交叉熵损失函数为：H(y(i),y^(i))=−∑j=1qyj(i)logy^j(i)H(y^{(i)},\hat{y}^{(i)})=-\sum_{j=1}^qy_j^{(i)}log\h
LLM(大语言模型)常用评测指标-困惑度（Perplexity）
qq_36485259的博客
03-11 7033
困惑度（Perplexity）是自然语言处理（NLP）中常用的一种评估语言模型的指标。它衡量的是模型对测试数据的预测能力，即模型对测试集中单词序列出现概率的预测准确度。困惑度越低，表示模型对数据的预测越准确。
【UCAS自然语言处理作业二】训练FFN, RNN, Attention机制的语言模型，并计算测试集上的PPL
qq_52852138的博客
11-25 1233
训练前馈神经网络，循环神经网络，注意力机制语言模型，并计算测试集PPL
PPL代码
m0_61688615的博客
05-17 1812
针对文本中的词预测任务来说，离散概率分布p的困惑度由下式给出，其中H(p) 是该分布的熵，x遍历事件空间。根据PPL两种不同的计算公式，有两种不同的代码实现。实现一：使用perplexity的。：将每个位置上的概率取对数再平均。
使用BERT和GPT-2计算句子困惑度PPL
kaimMarch的博客
09-29 1万+
定义 BERT https://github.com/xu-song/bert-as-language-model https://stackoverflow.com/questions/63030692/how-do-i-use-bertformaskedlm-or-bertmodel-to-calculate-perplexity-of-a-sentence https://github.com/ymcui/Chinese-BERT-wwm 对于给定的sentence，按顺序依次mask掉一个token
【Hugging Face】使用本地qwen2模型计算文本的困惑度perplexity
Cecilia_9728的博客
07-23 1319
使用hugging face中的evaluate模块计算文本困惑度
语言模型困惑度的两种形式及python实现
dianyanxia的博客
07-26 3098
转 语言模型困惑度的两种形式及python实现 - 海晨威的文章 - 知乎 https://zhuanlan.zhihu.com/p/57852713 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 在网上关于语言模型困惑度的介绍文章中，一般会看到以下两种形式： ...
LLMs之minimind：minimind源码解读
02-14
### minimind LLMs 源码解读分析 #### full_sft.py 文件解析 `full_sft.py` 是一个用于实现基于 PyTorch 的分布式混合精度语言模型全参数训练框架的脚本[^1]。该文件主要关注于如何高效地利用硬件资源，在大规模数据集上进行高效的训练。 为了支持分布式训练，此模块引入了 `torch.distributed.launch` 工具来启动多进程环境，并通过配置 GPU 设备来进行并行计算。对于优化器的选择，默认采用 AdamW 来更新权重参数；同时为了加速收敛过程以及提高数值稳定性，还应用了梯度裁剪技术防止梯度过大造成不稳定现象发生。 此外，考虑到现代深度学习任务中常见的内存瓶颈问题，这里实现了自动混合精度机制 (Automatic Mixed Precision, AMP)，它允许网络中的某些部分以较低位宽的数据类型运行从而节省显存空间而不影响最终性能表现。 ```python from torch.cuda.amp import GradScaler, autocast scaler = GradScaler() with autocast(): outputs = model(inputs) loss.backward() scaler.step(optimizer) scaler.update() ``` #### eval.py 文件解析 另一方面，《eval.py》则专注于构建一个可以与用户实时互动交流的人工智能系统[^2]。具体来说就是创建了一个命令行界面(Command Line Interface, CLI), 让使用者能够输入自然语言查询语句得到相应的回复结果。 在这个过程中涉及到的关键组件包括但不限于： - **Tokenizer**: 负责将原始文本转换成 token 序列以便送入 Transformer 编解码架构处理； - **Model Inference Pipeline**: 定义好推理流程之后就可以调用预训练好的 checkpoint 进行预测操作了; - **Response Generation Logic**: 根据上下文信息动态调整生成策略确保对话连贯性和逻辑一致性. ```python tokenizer = AutoTokenizer.from_pretrained('pretrained_model_path') model = AutoModelForCausalLM.from_pretrained('pretrained_model_path') input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=50) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值