生成模型的评价指标

已于 2023-12-02 21:58:51 修改
阅读量754 收藏 1
点赞数 1
分类专栏： NLP NLP面经 文章标签： 深度学习
于 2022-10-08 11:10:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42887772/article/details/127200362
版权

BLEU

比较候选译文和参考译文的n-gram的重合程度，unigram用于衡量单词翻译的准确度，高阶n-gram用于衡量句子翻译的流畅度。
BLEU需要计算1-gram，2-gram的精确率
惩罚因子：不希望模型生成短句。
对重复和短句有不好的表现
在这里插入图片描述

改进的多元精度

在这里插入图片描述

ROUGE-N

将BLEU的精确率优化为召回率，查看有多少参考译句中的n元组出现在输出中。
在这里插入图片描述在这里插入图片描述

ROUGE-L：将BLEU的n-gram优化为公共子序列。
在这里插入图片描述

石头猿rock
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Transformer大模型实战 理解ROUGE 评估指标
禅与计算机程序设计艺术
06-07 397
Transformer大模型实战 理解ROUGE 评估指标 1. 背景介绍 随着自然语言处理(NLP)技术的飞速发展,以Transformer为代表的大语言模型(LLM)在文本生成、机器翻译、文本摘要等任务中取得了令人瞩目的成果。而评估生成文本的质量一直是NLP领
机器翻译+对话系统中的评价指标
12-02
bleu 评价指标 ,在这里有详细介绍。大家可以作为参考看一下，有关论文中的计算公式，以及一些别的概念，如T-5 ,T-1
BLUE 评价指标
Sigmoid
09-18 3801
BLEU：用于机器翻译任务的评价。常见的有BLUE-1、BLUE-2、BLUE-3、BLUE-4四种，其中的数字表示连续单词的个数。candidate {the cat sat, cat sat on, sat on the, on the mat} 中有1个在 reference 中，即 blue3=1/4=0.25。candidate {the cat, cat sat, sat on, on the, the mat} 中有3个在 reference 中，即 blue2=3/5=0.6。
评价指标BLUE了解
Airstudy的博客
08-26 1558
BLEU指标根据生成的句子与人工参考句子之间的词、短语和n-gram匹配来计算模型的性能。因此，实际中通常使用bleu-1，bleu-2，bleu-3和bleu-4等四个BLEU指标来计算短语匹配的精度。然而，它存在着一些缺点，比如可能会倾向于短而不是长的句子，不能很好地衡量语法和语义问题，因此，通常需要结合其他评估指标一起使用来评估模型性能。BLEU指标具有较好的可解释性，直接基于n-gram重叠度来衡量生成文本和参考文本之间的相似度。获取参考文本中每个n元组的最大数量，并视为生成文本的最多可能匹配数。
评价指标BLEU 原理+例子+代码
百载文枢江左的博客
04-23 3364
评价指标BLEU简介背景标准的N-gram精确度和修正的N-gram精确度标准的N-gram精确度（standard N-gram precision）参考资料 简介 BLEU全称：BiLingual Evaluation Understudy（双语评价替补，代替人对机器翻译的质量进行评价） 用于评估哪些模型的性能？2002年论文用户评价机器翻译的质量，即用来计算模型生成的语句（candidate...
中文描述评价指标（blue,rouge,meteor,cider）
wzxkkdm的博客
04-14 734
rouge：(7条消息) 文本生成：自动摘要评价指标 Rouge_rouge评价指标_SunnyGJing的博客-CSDN博客中文文本摘要指标-ROUGE - 知乎 (zhihu.com)
大语言模型评价指标！！！！
08-17
大语言模型评价指标 大语言模型（Large Language Model）是自然语言处理中最近备受关注的一个课题。其主要特点包括模型规模巨大、采用Transformer等注意力机制作为模型架构、可以进行无监督预训练、Fine-tuning后...
预测模型评价指标.docx
09-04
预测模型评价指标 预测模型评价指标是预测模型性能评估的重要组成部分，主要从两个方面进行：区分度（Discrimination）和校准度（Calibration）。其中，区分度是指模型对样本的正确分类能力，而校准度是指模型对...
torch-fidelity:PyTorch中生成模型的高保真性能指标
05-13
诸如GAN之类的生成模型的评估是深度学习研究的重要组成部分。 在2D图像生成领域，三种方法得到了广泛传播：初始分数... 该软件旨在在PyTorch中提供上述指标的epsilon精确实现，从而消除与生成模型评估和开发相关的不便
ChatGPT技术对话生成模型的评价指标与评估准则.docx
08-27
ChatGPT技术是一种先进的对话生成模型，它利用大规模文本数据进行预训练，旨在生成与人类交互时自然流畅的对话。为了有效地评估此类模型的性能，我们需要关注三个关键指标：流利度、相关性和多样性。 首先，流利度...
图像修复评价指标.zip
07-01
最后，FID是近年来在生成对抗网络（GANs）领域常用的评价指标，主要用于评估生成图像的质量和多样性。FID通过计算两个分布（如真实图像和生成图像的特征向量分布）之间的Frechet距离来评估，距离越小，表明生成的...
LLM - 大模型评估指标之 BLEU
BITDDD小栈
08-17 1201
LLM 指标评估之 BLEU 双语评估替身。
LLM - 大模型评估指标之 ROUGE
BITDDD小栈
08-18 2797
LLM 评价指标之 ROUGE SCORE。
文本生成相关的评测指标
u012409283的博客
09-26 620
一、文本生成相关任务 翻译 对话生成 自动文摘 image2caption 二、文本生成评测指标 BLEU Rouge NIST METEOR TER 2.1 BLUE 2.2 Rouge reference https://zhuanlan.zhihu.com/p/150057895
评估指标详解：BLEUROUGE与METEOR的原理与实践
最新发布
AI架构设计之禅
03-12 476
1.背景介绍 在自然语言处理（NLP）领域，机器翻译是一个重要的研究方向。为了评估机器翻译的效果，研究者们提出了多种评估指标，其中最为知名的有BLEU、ROUGE和METEOR。这些评估指标都是通过比较机器翻译结果和人工翻译结果的相似度来评估机器翻译的质量。然而，这些评估指标的计算方法和适用场景各不相同，因此，理解这些评估指标的原理和实践方法对于NLP
如何快速计算生成模型的FID、IS、sFID、Precision、Recall等关键评价指标？
沉迷单车的追风少年
07-16 3183
无论是对于GANs、VAEs、Diffusion models、flow-based models等生成模型，计算评价指标是都是必需品。这篇博客教大家如何快速计算FID、IS、sFID、Precision、Recall等关键评价指标。
评价生成式模型的指标之Geometry Score
沉迷单车的追风少年
01-15 1239
前言：对于生成式模型来说，最大的问题之一是如何评价生成样本的质量和多样性，常用的指标有FID和IS，不过这两种指标有其局限性。本篇博客介绍另一种指标Geometry Score，并给出python代码和快速上手的实战。 论文地址：https://arxiv.org/abs/1802.02664 目录 原理简述 动手实战 原理简述 GANs的创始人提出过著名的流形假设(Manifold Hypothesis)，GS允许以随机方式比较两点云的底层流形的拓扑结构，提供一个分数来比较各种训练模型的质.
【转载】BLEU，ROUGE，METEOR，CIDEr-浅述自然语言处理机器翻译常用评价度量
weixin_49203690的博客
03-31 355
【转载】BLEU，ROUGE，METEOR，CIDEr-浅述自然语言处理机器翻译常用评价度量 1. BLUE-基于精确度的相似性度量方法 2. ROUGE-基于召回率的相似性度量方法 3. METEOR-基于召回率相似性度量方法 4. CIDEr-基于-N-grams的度量方法 https://blog.csdn.net/joshuaxx316/article/details/58696552 ...
自动文摘评测方法：Rouge-1、Rouge-2、Rouge-L、Rouge-S
热门推荐
qq_25222361的博客
12-02 6万+
前言最近在看自动文摘的论文，之前对Rouge评测略有了解，为了更好的理解Rouge评测原理，查了些资料，并简单总结。关于RougeRough(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要（通常是人工生成的）进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与
图像生成FID评价指标
05-23
FID指标是一种比较客观和全面的评价生成模型的指标，但它也有一定的局限性，例如不能评估生成图像的多样性和创新性。因此，在实际应用中，需要结合FID指标和其他指标来综合评价生成模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石头猿rock

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值