nlp入门6——语言模型任务评估

最新推荐文章于 2024-04-04 23:46:54 发布
最新推荐文章于 2024-04-04 23:46:54 发布
阅读量189 收藏
点赞数
分类专栏： nlp 文章标签： 自然语言处理 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qishanbaby/article/details/133202077
版权

目录

一、信息论-信息熵

二、相对熵

三、交叉熵

四、困惑度（PPL）

五、传统语言模型限制

一、信息论-信息熵

不确定程度可以去衡量

在这个表达式中 H的最大值为2

H（熵）越大 不确定越高   当H为0是 事件确定

二、相对熵

这里的距离应该理解为两个分布之间的差异

P为真实的分布  Q为模型预测出来的概率分布 ——> 期望预测和真实相接近 ——> 相对熵的值应该趋近于0 

H（P,Q）为交叉熵

三、交叉熵

这里的红色信息熵错了 应该为交叉熵

H(P)为真实分布的熵（已经确定），为了使H（P,Q）最小，要让DKL（P，Q）最小

四、困惑度（PPL）

表示在语料库中可以选择的词的数量

困惑度本质上为一个交叉熵函数

困惑度和语料库有关，只有使用相同的语料库对比不同的模型，此时，困惑度才有意义

困惑度越小，模型越好

五、传统语言模型限制

qishanbaby
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP预训练模型综述
Mystery
10-30 6073
文章目录文章介绍背景2.1语言表示学习非上下文词嵌2.2 神经上下文编码器2.2.1 序列模型s2.2.2 非序列模型2.2.3 分析2.3 为什么预训练？2.4 NLP的PTMs的历史2.4.1 第一代PTM：预先训练的词嵌入将单词表示为密集的矢量已有很长的历史[60]。2.4.2 第二代PTM：预训练的上下文编码器3. PTMs总览3.1 预训练任务3.1.1 LM3.1.2 掩码语言模型（MLM）3.1.3 置换语言建模3.1.4 去噪自动编码器3.1.3 对比学习（CTL）Deep InfoMax
困惑度PPL (perplexity)
hxxjxw的博客
07-31 9496
PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。 PPL越小越好 公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ； ppl越小，p(wi)则越大，也就是说这...
机器翻译, 文本生成等任务评价指标 BLEU, ROUGE, PPL(困惑度)
shawroad的博客
04-20 1万+
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1-gram，2-gram，...，N-gram 的精确率，一般 N 设置为 4 即可，公式...
NLP知识点 - perplexity 困惑度
春天
12-13 1608
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），并计算一个句子的概率。一个好的语言模型，应该给well-written 的句子更高的生成概率，阅读这些句子不应该让人感到困惑。比较这句话的概率与当前语言模型生成的其他句子的概率，来判定生成句子的好坏呢？答案是否定的，因为句子的最终概率是单词概率连乘得到的，所以随着句子长度的增加，概率会越来越小。因为是概率的倒数，所以困惑度越低，句子概率越高，语言模型就越好。
【NLP】2.3 语言模型任务评估
weixin_45531684的博客
06-24 669
在实践中，我们不使用原始概率作为我们评估语言模型的度量标准，而是使用一种叫做**困惑度（perplexity, PPL）**的变量。测试集上的语言模型的PPL是测试集上的【[逆反概率](# 逆反概率)】，由单词的数量归一化。对于一个测试集Ww1​w2​...wN​PPLW​Pw1​w2​...wN​−N1​NPw1​w2​...wN​1​​Ni1∏N​Pwi​∣w1i−1​1​​。
语言模型（二） 评估和类别
xmdxcsj的专栏
11-26 8048
一、Evaluation 1、  熵 entropy l  熵（entropy）又称自信息，self-information 描述一个随机变量的不确定性的数量，熵越大，不确定性越大，正确估计其值的可能性越小。越不确定的随机变量越需要大的信息量以确定其值。                               p(x)表示x的分布概率 l  相对熵（relativeentr
NLP小白入门——超全中文文本分类系统（含训练及测试数据集）
04-08
在自然语言处理（NLP）领域，文本分类是一项基础任务，它涉及到将文本按照预定义的类别进行划分。本资源“NLP小白入门——超全中文文本分类系统”旨在为初学者提供一个全面的入门教程，包括训练集、测试集以及相关...
基于lstm网络的垃圾邮件处理——NLP
12-24
**基于LSTM网络的垃圾邮件处理——自然语言处理（NLP）** 在现代通信中，垃圾邮件已经成为一个普遍的问题，不仅占用用户的时间，还可能带来潜在的安全风险。为了解决这个问题，我们可以利用机器学习和自然语言处理...
大模型入门.zip
03-14
它们在自然语言处理、图像识别、语音识别等领域都有广泛的应用，比如谷歌的BERT、Facebook的Megatron-LM以及中国的文心一言等。 "垂直领域大模型"是大模型的一个重要应用方向，指的是针对特定行业或领域的定制化...
《构筑大语言模型应用：应用开发与架构设计》一本关于 LLM 在真实世界应用的开源电子书，介绍了大语言模型的基础知识和应用
03-14
这种模型的代表有BERT、GPT等，它们在自然语言处理任务中表现出色，如问答、文本生成、机器翻译等。大模型的显著特点是其强大的泛化能力，能够在未见过的任务上表现出良好的性能。 书中特别强调了“垂直领域大模型...
Iris数据集——机器学习入门，实战
07-12
在当今信息化时代，机器学习和深度学习作为人工智能的重要分支，已经广泛应用于各种领域，包括图像识别、语音处理、自然语言理解等。而对于初学者而言，理解并掌握这些技术的基础至关重要。Iris数据集，作为经典的...
NLP-KD课件学习笔记
A626796235的博客
03-18 247
NLP-KD
NLP基础知识
newcolour_USTC
01-20 1263
Transfomer具体构造 LSTM 具体构造 LDA主题模型 是一个生成模型，这个模型假定每个文档都是由一系列话题（topic）混合生成的。 假定有k个潜在的topic，这些个话题的分布服从一个多项式分布。 LDA首先从Dirichlet(a1,...ak)Dirichlet(a_1,...a_k)Dirichlet(a1​,...ak​)分布中取得参数θ\thetaθ，θ\thetaθ是一个大小为k一维数组，也是前面我们说道的多项式分布的参数，p(zn=i∣θ)=θip(z_n = i|\theta)
LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、多种代码实现
最新发布
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-04 1809
​ LLMs之PPL：解读多个权威文档(比如huggingface)中对PPL(困惑度)的定义、PPL的多种计算方式、代码实现 目录 Chinese-LLaMA-Alpaca-2项目中的PPL代码实现 两种近似算法计算固定长度语言模型的困惑度 文章地址：https://huggingface.co/docs/transformers/perplexity Perplexity of fixed-length models固定长度模型困困惑度 PPL是GPT-St
语言模型评价指标 bpc(bits-per-character)和困惑度ppl(perplexity)
热门推荐
Lisen’s blog
11-23 1万+
困惑度ppl(perplexity) ppl是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize，公式为： S – 当前句子； N – 句子长度； p(wi) – 第i个词的概率 p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会...
信息熵 (Entropy)
weixin_39699362的博客
03-04 3570
对于离散概率分布，若有两个概率分布PPP和QQQ，其中 § 通常代表数据的真实分布，而QQQ代表模型预测的分布，那么交叉熵HPQH(P, Q)HPQHPQ−∑xPxlog⁡QxHPQ−∑x​PxlogQx))这里的求和是对所有可能事件xxx进行的，PxP(x)Px是样本点xxx在真实分布中的概率，QxQ(x)Qx是样本点xxx在预测分布中的概率。对于离散随机变量，如果我们有两个概率分布PPP和Q。
语言模型困惑度的两种形式及python实现
dianyanxia的博客
07-26 2688
转 语言模型困惑度的两种形式及python实现 - 海晨威的文章 - 知乎 https://zhuanlan.zhihu.com/p/57852713 在自然语言处理中，对于一个语言模型，一般用困惑度来衡量它的好坏，困惑度越低，说明语言模型面对一句话感到困惑的程度越低，语言模型就越好。 在网上关于语言模型困惑度的介绍文章中，一般会看到以下两种形式： ...
如何计算文本的困惑度perplexity(ppl)
qq_52852138的博客
07-31 5630
本文关注在Pytorch中如何计算困惑度ppl, 为什么能用cross-entropy loss 代表ppl。
困惑度PPL
ding_programmer的博客
05-12 3673
语言模型中经常使用困惑度来作为语言模型的评价 对于一段 句子(sentence) s 由词构成，即： ，w代表词 对两边都取 对数 则： 所以：一般的困惑度越小，模型越好，应该尽可能找困惑度小的模型 ...
AI人工智能-NLP技术-自然语言处理技术分享 自然语言处理之序列模型 第01课_自然语言处理概论 共53页.pptx
04-26
"该课程是关于AI人工智能领域中的自然语言处理技术(NLP)的分享，主要探讨了自然语言处理中的序列模型。课程内容全面，包括自然语言处理的基础概念、广泛应用、技术挑战、历史进程、一般思路和基本工具，并对序列模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值