相似度系列-5：语义方法:BERTSCORE: EVALUATING TEXT GENERATION WITH BERT

最新推荐文章于 2024-09-17 11:00:00 发布
最新推荐文章于 2024-09-17 11:00:00 发布
阅读量1k 收藏
点赞数
分类专栏： 相似度 文章标签： bert 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hekena/article/details/127856938
版权

BERTSCORE: EVALUATING TEXT GENERATION WITH BERT

开头

我觉得这个方法也没有考虑到语序这个因素。在计算时，拆分的会不会有点太散了。token-to-token的相似度加权得到最终相似度。整个chunk的相似度似乎并没有得到很好的利用。word的本身语义信息在利用时，会不会在变换为token后改变了？

本文核心：计算reference和candidate中每个token之间的语义相似度（cosine similarity），选择对应的最大的相似度分值，加权得到最终的相似度值。

related works

看前人做的一些改建。
比如：n_gram_words更改为n_gram_characters
比如：n_gram_words更改为weightd n_gram-words

  1. n-grams方法
  2. 编辑距离的方法
  3. 基于嵌入的方法
  4. learned metrics (直接以人类的judgements作为评估矩阵，训练模型，使得评测矩阵接近于人类评测水平）

method

在这里插入图片描述

  1. Use different model to tokenizer the sentences
  2. cosine similarity to compute the reference token and the candidate token.
  3. compute the sum of the token similarity scores
  4. use idf as the weight to compute the final score.
  5. rescall the score (b is the lower bound—— compute b by averaging BERTSCORE
    computed on these sentence pairs.）

在这里插入图片描述
在这里插入图片描述
根据WMT18的标准做法，使用绝对皮尔逊相关度|ρ|和肯德尔等级相关度τ来评估指标质量

YingJingh
关注
专栏目录
大语言模型应用指南：从人工智能的起源到大语言模型
AI天才研究院
06-27 1037
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
bert理论和开源项目汇总
06-11 3133
文章目录bert 相关开源项目汇总official implement:implement of BERT besides tensorflow:improvement over BERT:other resources for BERT:domain specific BERT:BERT Deploy Tricks:BERT QA & RC task:BERT classificatio...
【文本生成】评价指标：BERTScore
想学nlp的kayla
10-11 1万+
BERTScore 使用contextual embedding来描述句子，计算两个句子之间的相似度。 在本文中，我们将重点放在句子级别的生成评估上，并提出了：BERTScore，这是一种基于预训练的BERT上下文嵌入 （bert）的评估指标。 BERTScore将两个句子之间的相似度计算为它们的标记之间的余弦相似度的加权汇总。 基于n-gram matching metric 的常见缺陷： semantically-correct phrases are penalized because they
相似度系列8：unify-BARTSCORE: Evaluating Generated Text as Text Generation
Hekena的博客
11-15 805
在introduction中，介绍背景和research community jobs之后，转到现在的问题上，however …This lead to potential under-utilization of the pretrain model.然后，新的一段，介绍自己的工作．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｗｅ　．．．．新的一段，介绍ｒｅｓｕｌｔ。第一张图片是在不同top-k的机器翻译系统下，不同metric的性能变化趋势。可以发现，当k增加的时候，BA下降趋势是较为平稳的。
大语言模型评测方法全面总结！
最新发布
2401_85373898的博客
09-17 860
自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。然而，现有评测方法存在广度和深度不足、数据偏差、忽视模型其他能力或属性评估等问题。因此，需要全面评测和深入研究模型的各项能力、属性、应用局限性、潜在风险及其可控性等。本文回顾了自然语言处理中的评测基准与指标，将大语言模型评估分为经典和新型评测范式，分析了现有评测的不足。
BERTScore评估
weixin_43056925的博客
10-27 1万+
BERTscore：使用bert评估文本生成摘要 摘要：BERTScore计算候选句子中每个标记与参考句子中每个标记的相似性分数，使用上下文嵌入计算标识的相似性，而不是精确匹配。 介绍 ①BERTSCORE，一种基于预训练的BERT上下文嵌入的语言生成评估指标。BERTSCORE将两个句子的相似度计算为其标记嵌入之间的余弦相似度之和。 ②解决了两个弊端：第一个是匹配释义，第二个是无法捕获遥远的依赖关系并惩罚语义上关键的顺序变化。 匹配释义 字符串匹配 喜欢外国汽车的人 给定一个大小为2的
【论文泛读138】BARTScore：将生成的文本评估为文本生成
scu-liu的博客
06-23 2127
贴一下汇总贴：论文阅读记录 论文链接：《BARTScore: Evaluating Generated Text as Text Generation》 一、摘要 各种各样的 NLP 应用程序，例如机器翻译、摘要和对话，都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估此类生成的文本是否真正流畅、准确或有效。在这项工作中，我们将生成文本的评估概念化为文本生成问题，使用预训练的序列到序列模型进行建模。一般的想法是，当生成的文本更好时，训练模型将生成的文本转换为参考输出或源文本将获得更高的分数。我们使用
【文本生成】评价指标：BARTScore
想学nlp的kayla
10-11 4079
这篇论文出自2021 NeurIPS，通讯作者是卡耐基梅隆大学博士后刘鹏飞（prompt综述作者），论文全名：《BARTSCORE: Evaluating Generated Text as Text Generation》 BARTSCORE采用无监督学习 对不同方面 (e.g. informativeness, fluency, or factuality) 进行评估。 在本文中，我们将生成文本的评估公式化为文本生成问题，通过从其他文本输入和输出生成或生成其他文本输入和输出的概率的概率直接评估文本。这与
论文阅读汇总（3）-【篇数：50】
scu-liu的博客
05-27 1083
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 开始新的100篇~ 1-50：1-50汇总 51-100：51-100汇总
内容算法解读：提高内容摘要与原文的一致性（Faithfulness）
liveshow021_jxb的博客
03-04 1189
受益于预训练语言模型的发展，应用神经网络模型提取内容摘要的技术也获得了长足进步。但目前还存在一个未被很好解决的问题：神经网络模型提取的摘要不能如实反映原文档的中心思想，没有做到忠实（notfaithful）。可能的原因有两个，1）摘要模型未能理解或者抓取输入文档内容的要点；2）摘要模型过度依赖语言模型，产生了流畅但不达意的词语。本文提出了一个忠实度增强摘要模型，克服上述两个问题，并尽可能贴切地表达出原文的中心思想。
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
bert_score：文本生成的BERT分数
02-03
BERTScore 论文（ICLR 2020）中介绍了自动评估指标。 新闻： 更新至版本0.3.7 与Huggingface的变压器版本> = 4.0.0兼容。 感谢公共贡献者（ ， ， ）。 如果您想在COCO字幕数据集上复制我们的实验，请参见 。 更新至版本0.3.6 支持自定义基准文件 选项--rescale-with-baseline更改为--rescale_with_baseline以便与其他选项一致。 更新至版本0.3.5 与Huggingface的变形金刚> = v3.0.0和次要修复程序（ ， ， ）兼容 与效率相关的几项改进（ ， ） 更新至版本0.3.4 立即与变形金刚v2.11.0兼容（＃58） 对于中国人来说，下载预先训练的体重可能很慢。 我们在百度盘上提供了一些模型的副本。 密码：dhe5 密码：jvk7 cased密码：yx3q 库在其度量标准集合中包括BERTScore。 更新至版本0.3.3 使用空字符串修复错误。 支持6种模型和24种较小的模型。 新增了一个用于保持WMT16英制上不同模型的性能（即
Python-BERTScore利用来自BERT的预训练上下文嵌入并通过余弦相似性匹配候选和参考句子中的单词
08-10
BERTScore利用来自BERT的预训练上下文嵌入，并通过余弦相似性匹配候选和参考句子中的单词
BERTScore——一种衡量两段文本相似度的方法
weixin_44902962的博客
06-18 3852
【代码】BERTScore——一种衡量两段文本相似度的方法。
论文复现-1：bertscore
Hekena的博客
12-18 1185
函数最大化的similarity score，每个token match到相似度最高的那一个token。论文中指明，使用了cosine函数计算sentence之间的similarity score。greedy search操作，参考原文中的公式：注意底标是两个不同的维度。是根据model-name调用相应的Model和Tokenizer函数。normalize操作：A.div_(B)是A 中每个值除以B的值。函数，将embedding做了normalize后，使用的是。正常的cosine sim=
探索BERT Score：一个评估自然语言生成质量的新工具
gitblog_00071的博客
03-26 1338
探索BERT Score：一个评估自然语言生成质量的新工具 bert_scoreBERT score for text generation项目地址:https://gitcode.com/gh_mirrors/be/bert_score 引言 在深度学习领域，尤其是自然语言处理（NLP）中，准确评估模型生成文本的质量至关重要。 是由Tiiiger团队开发的一个新工具，它利用BERT的预训练能力...
BERTScore 使用教程
gitblog_00690的博客
08-08 755
BERTScore 使用教程 bert_scoreBERT score for text generation项目地址:https://gitcode.com/gh_mirrors/be/bert_score 项目介绍 BERTScore 是一个用于评估文本生成质量的自动评估指标，基于 BERT 模型。该项目由 Tianyi Zhang、Varsha Kishore、Felix Wu、Kilia...
bert做语义相似度文章的注解
qq_32743513的博客
11-09 861
之前查找bert做语义相似度资料时使用了一个博主的代码，原文：https://blog.csdn.net/u012526436/article/details/84637834 网上如何做fine-tune的文章很多，但是找到的单例预测的比较少，这个是为数不多的一篇。有些细节作者没写，查询资料后记录下来用来注解： （此处引用https://zhuanlan.zhihu.com/p/112062303） tensorflow 的Estimator 这个高级API，它的主要作用就是提出一个高级范式（paradi
解决：bert_score无法加载本地模型
nlhkfcdxb的博客
06-29 529
解决办法1：修改bert_score源码。bert_score虽说是只接受模型名，但内部还是通过AutoTokenizer.from_pretrained和AutoModel.from_pretrained这两个方法加载模型，相信这两个方法大家都很熟悉了。因此只需要在源码中添加自己的model_path，并且把源码中的model_type这个参数改为model_path。解决办法2：让bert_score找到缓存模型，相信聪明的小伙伴已经在前面的代码中看到bert_score是如何加载缓存模型的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YingJingh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值