【文本生成】评价指标：事实一致性Evaluating the Factual Consistency of Abstractive Text Summarization

最新推荐文章于 2023-07-29 23:09:10 发布
最新推荐文章于 2023-07-29 23:09:10 发布
阅读量2.0k 收藏 2
点赞数
分类专栏： 文本生成 文章标签： 深度学习 自然语言处理 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skying159/article/details/121684539
版权

论文：2019年《Evaluating the Factual Consistency of Abstractive Text Summarization》
https://arxiv.org/pdf/1910.12840.pdf

motivation

经研究高达30%的摘要是和原文事实不符的，到目前为止也没有非常好的办法去解决摘要与原文的事实一致性。

introduction

与事实一致的问题与两个问题最为接近：一个是natural language inference（NLI），一个是fact checking。

当前的NLI数据集一般都是短的单句匹配，事实一致性却是要与全文去匹配。

fact checking是事实与知识匹配，而事实一致性是原文提供的信息和原文作匹配，并不保证信息是否一致。

methods

training data

本文用了一种弱监督的方法构造训练集，通过构造的sentence-document pair，可以判断是否与事实一致。

训练集由采样原文句子获得。

  • paraphrasing

    采用回译方法，用Google Cloud Translation API，默认语义不变。

  • entity and number swapping

    用NER识别后，随机替换。比如人名就替换成识别到的其他人名。用的是SpaCy NER t

最低0.47元/天 解锁文章
内容算法解读：提高内容摘要与原文的一致性（Faithfulness）
liveshow021_jxb的博客
03-04 1189
受益于预训练语言模型的发展，应用神经网络模型提取内容摘要的技术也获得了长足进步。但目前还存在一个未被很好解决的问题：神经网络模型提取的摘要不能如实反映原文档的中心思想，没有做到忠实（notfaithful）。可能的原因有两个，1）摘要模型未能理解或者抓取输入文档内容的要点；2）摘要模型过度依赖语言模型，产生了流畅但不达意的词语。本文提出了一个忠实度增强摘要模型，克服上述两个问题，并尽可能贴切地表达出原文的中心思想。
【文本生成】评价指标：BARTScore
想学nlp的kayla
10-11 4080
这篇论文出自2021 NeurIPS，通讯作者是卡耐基梅隆大学博士后刘鹏飞（prompt综述作者），论文全名：《BARTSCORE: Evaluating Generated Text as Text Generation》 BARTSCORE采用无监督学习 对不同方面 (e.g. informativeness, fluency, or factuality) 进行评估。 在本文中，我们将生成文本的评估公式化为文本生成问题，通过从其他文本输入和输出生成或生成其他文本输入和输出的概率的概率直接评估文本。这与
相似度系列-7：单维度：Evaluating the Factual Consistency of Abstractive Text Summarization
Hekena的博客
11-15 470
事实一致性检查。
【工大SCIR笔记】事实感知的生成式文本摘要
zenRRan的博客
04-21 955
作者：哈工大SCIR 黄毅翀序言抽取式的文本摘要直接从原文中摘取完整的句子作为文章的摘要，如同按部就班的老实人，令人心安；生成式的文本摘要可以产生原文中没有的单词和短语，好比一位逍遥的江...
[摘要生成]Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph
SARACH_WONG的博客
01-14 733
2020 paper: https://arxiv.org/pdf/2003.08612.pdf 切入点：factual correctness 提出两个模型： Fact-Aware Summarization model, FASUM：which extracts factual relations from the article to build a knowledge graph and integrates it into the neural decoding process. a Factu
文本生成人工评价指标及一致性校验方法总结（附代码实现）
Meiling_up
07-18 3198
本文对文本生成人工评价指标中场景设置及评估结果的一致性校验方法进行总结，并给出 Cohen's Kappa 与 Fleiss' Kappa 的代码实现。
干货！开放端故事生成评价指标的评测基准及长文本生成的连贯性建模
AITIME_HY的博客
12-28 817
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！该报告将介绍两篇发表在ACL 2021主会的论文。第一篇论文提出了第一个评价故事生成评价指标的评测基准。该基准基于人工标注和自动构...
【文本生成】评价指标：BERTScore
想学nlp的kayla
10-11 1万+
BERTScore 使用contextual embedding来描述句子，计算两个句子之间的相似度。 在本文中，我们将重点放在句子级别的生成评估上，并提出了：BERTScore，这是一种基于预训练的BERT上下文嵌入 （bert）的评估指标。 BERTScore将两个句子之间的相似度计算为它们的标记之间的余弦相似度的加权汇总。 基于n-gram matching metric 的常见缺陷： semantically-correct phrases are penalized because they
（笔记）数据仓库工具箱：维度建模的完全指南--一致性事实表
07-31 2063
维度保持一致后，事实就可以保存在各个数据集市中。虽然在物理上是独立的，但在逻辑上由一致性维度使所有的数据集市是联系在一起，随时可以进行交叉探察等操作，也就组成了数据仓库。
Python_文本分析_困惑度计算和一致性检验
越吃越胖的博客
06-02 1万+
在做LDA的过程中比较比较难的问题就是主题数的确定，下面介绍困惑度、一致性这两种方法的实现。 其中的一些LDA的参数需要结合自己的实际进行设定 直接计算出的log_perplexity是负值，是困惑度经过对数去相反数得到的。 import csv import datetime import re import pandas as pd import numpy as np import jieba import matplotlib.pyplot as plt import jieba.posseg
文本生成任务常见评估指标
linchuhai的博客
05-16 9475
1. 引言     在传统的文本生成任务中，对于模型生成的文本，往往很难评估他们的质量，一般会采用人工投票的形式，来比较生成的文本和真实的参考文本之间的优劣或接近程度，因此，其评估过程是非常昂贵和耗时的，并且该过程没法重复，当研究人员对模型进行更新之后，又得重新雇人进行评估，或者需要对模型进行部署并实时监控时，也很难实施，因此，文本生成任务需要一个可被计算的数值指标，来衡量模型生成的文本与参考文本...
文本检测数据集整理汇总
u012135425的博客
02-22 3384
中文 1、ctw     腾讯和清华大学合作标注的数据集 https://ctwdataset.github.io/     2、rctw   2017年ICARD比赛的数据集 RCTW-17 is a competition on reading Chinese Text in images. For training and testing, we provide a large-sc...
新闻文本数据集_一文看懂虚假新闻检测（附数据集 & 论文推荐）
weixin_39859055的博客
12-10 3021
作者丨孙子荀单位丨腾讯科技高级研究员研究方向丨多模态内容质量本人过去几年一直从事内容质量方面的算法工作，近期出于兴趣对假新闻这个问题做了一些调研，简单总结一下提供读者参考。在某种程度上假新闻的是一个微观领域问题，它和谣言分类，事实判断，标题党检测，垃圾内容挖掘等都比较类似，在宏观上说都属于内容质量的领域，所以很多方法其实是通用的框架。本文主要简单介绍了我们的做法和几篇具有典型代表的假新闻论文，从不...
抽象文本摘要中的事实不一致问题：一项调查
liuyingshudian的博客
11-06 1350
抽象摘要中的事实不一致问题
论文解读：Factuality Enhanced Language Models for Open-Ended Text Generation
最新发布
夏栀的博客
07-29 1960
而往往为了降低GPU显存，通常采用chunk机制，导致很多文档被分割化，这些被分割后的文档可能只有一些代词，这会导致信息“碎片化”，并导致出现在具有相似上下文的独立文档中的实体的错误关联。模型的生成是逐个字符生成的，因此如果模型在没有任何prefix的前提下生成文本时，生成的最开始阶段的一些词是不会存在幻觉的，而随着不断地生成过程中，后面生成的词会促使整个文本产生幻觉。目前一个很大的挑战是如何评估模型的事实性，尤其是开放文本生成领域内，其需要涉及到定位真实知识在无数个世界知识内的位置。
大模型幻觉评估方法——忠实性（Faithfulness）与事实性（Factuality）
夏栀的博客
07-20 3725
在本篇文章中，我们首先通过一篇早期工作讨论了忠实度和真实度的含义是什么。然后，我们综述了评估文本摘要忠实度/真实度/一致性的各种方法。可以看到不管是对于不同任务还是不同评价维度，较为普遍的趋势是趋向于大而统一：更大的元评估实验设定、更多的预训练、更大的模型、更统一的视角，等等等等。当下，GPT-4的出色表现引起热议，但是似乎构建更可控、可解释、鲁棒的文本生成指标仍然是一个开放问题，还有很长的路要走。下篇文章中，我们会探讨一下提升近期文本摘要的忠实性的相关工作。
自然语言推理-文本蕴含识别简介
热门推荐
u010960155的博客
08-04 2万+
一 什么是文本蕴含识别 文本间的推理关系，又称为文本蕴含关系 (TextualEntailment)，作为一种基本的文本间语义联系，广泛存在于自然语言文本中。简单的来说文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提（premise），另一个文本作为假设（hypothesis），如果根据前提P能够推理得出假设H，那么就说P蕴含H，记做。这跟一阶逻辑中的蕴含关系是类似的。 例子：...
EMNLP2020中事件抽取/关系抽取/NER/少样本/MRC/摘要 论文分类整理
carrie_0307的博客
10-15 4070
事件抽取 主会 A Method for Building a Commonsense Inference Dataset based on Basic Events Affective Event Classification with Discourse-enhanced Self-training Biomedical Event Extraction as Sequence Labeling Connecting the Dots: Event Graph Schema Induct
Abstractive Summarization
weixin_30561177的博客
07-25 1348
Sequence-to-sequence Framework A Neural Attention Model for Abstractive Sentence Summarization Alexander M. Rush et al., Facebook AI Research/Harvard EMNLP2015 sentence level seq2seq模型在2014年提出，这篇论文是...
GANprintR: Improved Fakes and Evaluation of the State of the Art in Face Manipulation Detection
03-28
GANprintR is a recent research paper that focuses on improving the quality of fake images generated by Generative Adversarial Networks (GANs) and evaluating the state of the art in face manipulation detection. The authors propose a new architecture for GANs called GANprintR that incorporates a perceptual loss function and a fine-tuning step to enhance the quality of generated images. In addition to improving the quality of fake images, the authors also evaluate the effectiveness of various face manipulation detection methods. They use a dataset of real and manipulated face images to test the performance of these methods and find that most state-of-the-art detection methods are not effective against GAN-generated images. The authors conclude that GANprintR can produce high-quality fake images that are difficult to detect using current face manipulation detection methods. This has important implications for the use of fake images in various applications, including social media, advertising, and political propaganda. The authors suggest that future research should focus on developing more robust detection methods to prevent the spread of fake images.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值