论文笔记|GSum: A General Framework for Guided Neural Abstractive Summarization

最新推荐文章于 2024-09-25 07:36:53 发布

期待成功

最新推荐文章于 2024-09-25 07:36:53 发布

阅读量1k

点赞数 1

分类专栏：笔记自然语言处理文章标签：人工智能深度学习机器学习自然语言处理 pytorch

本文链接：https://blog.csdn.net/u011150266/article/details/118153043

版权

GSum是NAACL2021提出的一种通用引导式摘要框架，通过结合不同类型的外部引导，提高摘要质量和可控性。模型利用Transformer和BERT进行编码，解码器设计源于Transformer Decoder，实验证实在使用高亮句子作为引导时，在多个数据集上达到最佳ROUGE性能。

摘要由CSDN通过智能技术生成

在这里插入图片描述

作者：景
单位：燕山大学

论文来源:NAACL2021
代码地址

前言

生成式摘要神经网络模型很灵活，可以产生连贯的摘要，但它们有时不可靠并且难以控制。虽然以前的研究试图提供不同类型的指导来控制模型输出和增加可信度，但尚不清楚这些策略如何相互比较和对比。在本文中，作者提出了一个通用且可扩展的引导式摘要框架GSum，它可以有效地将不同种类的外部引导作为输入，并在几个不同的品种上进行实验。实验表明，该模型是有效的，在使用突出显示的句子作为指导时，根据 ROUGE 在 4 个流行的摘要数据集上实现了最先进的性能。此外，作者提出的引导式摘要模型可以生成更可信的摘要，并展示了不同类型的引导如何生成质量不同的摘要，从而为学习模型提供一定程度的可控性。

方法

模型

模型的整体架构如下图所示。
在这里插入图片描述

首先是源文档输入，经过分词工具转Embedding之后输入一个emmm,一个Transformer Encoder里，假定每一层的输入信息为 $X$ （ $X$ 是源文档的嵌入，用 $G$ 表示指引文本的嵌入信息），则
$LN(X+SelfAttention(X))\\ X=LN(X+FeedForward(X))\\$
同样的，针对指引文本的嵌入信息G，也有