论文笔记：Diverse Beam Search for Increased Novelty in Abstractive Summarization

最新推荐文章于 2022-03-28 14:11:25 发布
最新推荐文章于 2022-03-28 14:11:25 发布
阅读量1k 收藏 1
点赞数
分类专栏： 论文笔记 自动文摘 文章标签： Abstractive Summarization
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014435314/article/details/79931691
版权
该论文提出了一种新的摘要生成方法，通过Diverse Beam Search降低抽取性，增强摘要的创新性。使用MMR和Sent2Vec评估候选序列，确保摘要与原文内容相关但避免过度抽取。实验显示这种方法在降低抽取率的同时，提升了ROUGE得分。
摘要由CSDN通过智能技术生成

文章来源：

Arxiv，2018

作者：

Cibils Andre, Musat Claudiu, Hossmann Andreea, Baeriswyl Michael

关键词：

Extractiveness; Diverse Beam Search;Sent2Vec; MMR

问题：

如何降低生成式摘要的抽取性？

模型：

PGNet生成摘要由于可以选择是否利用拷贝机制，使得实际生成的摘要中从原文抽取的部分过多。这篇文章指出，现有的NLP指标——plagiarism score由于只关注LCS(longest common sequence)，不能很好区分完全抽取和部分抽取的句子。于是文章提出了一个新的用于衡量抽取性的指标——extractiveness score

最低0.47元/天 解锁文章
Shirveon
关注
专栏目录
StarGAN v2: Diverse Image Synthesis for Multiple Domain
程序员光剑
08-02 879
在过去的十年里，生成对抗网络（GANs）已经推动了图像、视频、音频等各种数据形式的创作和转化。通过学习一种已知图像的模式并生成类似但不完全相同的新图像，这种生成模型被广泛应用于视觉艺术、科学、工程和游戏设计等领域。在现实世界中，一个对象可以有多种外观或形态，比如一只猫可能有黑白两色的外表，也可能有褐色的毛皮和蓝色的耳朵；在计算机视觉任务中，目标对象可以有多种属性，如身材高大丰满，身材矮小瘦弱，面部轮廓复杂，皱纹横冲直撞……这些差异性造就了图像数据的多样性。
【CVPR2024】 EDITOR Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification
最新发布
weixin_49090702的博客
03-18 1047
单模态对象重新识别（ReID）在复杂视觉场景中保持鲁棒性面临巨大挑战。相比之下，多模态对象ReID利用了来自不同模态的互补信息，显示出在实际应用中巨大的潜力。然而，以前的方法可能容易受到无关背景的影响，并且通常忽略模态间的差距。为了解决上述问题，我们提出了一种新颖的学习框架EDITOR，用于从视觉Transformer中为多模态对象ReID选择多样的标记。我们首先使用共享视觉Transformer从不同的输入模态中提取标记化特征。
论文阅读：Diverse Beam Search--Decoding Diverse Solutions from Neural Sequence Models
YUFAN_ZHAO的博客
01-22 5011
因为最近一个实验室项目即将开始，关于给中国移动公司做一个智能客服对话系统，所以这段时间我开始搜集相关的最新论文开始阅读，今天给大家带来的是>       Neural Sequence Model（RNN、LSTM）常用来处理有时序性的数据。目前在decode的过程中经常会使用beam search算法，这个算法类似于贪心算法，在每个时刻输出后会保留概率前k大的序列，其它的舍弃掉。举个例
diversity beam search
J~的博客
04-16 1190
Seq2Seq中常用到的优化方法就是Beam Search，但是Beam Search的一个缺点就是生成的N个回答往往差异性很小，无法体现语言的多样性（比如文本摘要、机器翻译的生成文本，往往有不止一种表述方式）。最近看论文的时候发现Google提出的改进Beam Search方法，下面来稍微总结下。 论文地址：https://arxiv.org/pdf/1610.02424.pdf 具体...
DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS翻译
nopSled
03-28 919
摘要 神经序列模型被广泛用于建模时间序列数据。同样普遍使用的是将集束搜索（BS）用作近似推理算法，以解码来自这些模型的输出序列。BS以贪婪方式从左到右探索搜索空间，并只保留top-B个候选，这导致生成的序列仅仅轻微不同。产生几乎相同的序列列表不仅是计算上浪费，而且通常不能捕获复杂AI任务的固有模糊性。为了克服这个问题，我们提出了Diverse Beam Search（DBS），通过优化多样性增强目标来解码出多样化输出列表，且可作为BS的替代方案。我们观察到，我们的方法通过控制搜索空间的探索和开发来发现更好的
论文分享 -- NLP -- grid beam search
村头陶员外的博客
07-15 1271
本篇博文主要总结论文 Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search，论文链接 gbs，参考的实现代码 codes。 首先不得不说，对于初学者来说，beamsearch是一种稍微难理解的算法，而在此算法上衍生的grid beam search就更复杂了，因此本论文读起来有一定的难度。 论文动机 普通的beamsearch是由动态规划的方法找到最优的生成序列，但是这种方法在交互翻译场景可能并不适用，
论文笔记：Beam Search Strategies for Neural Machine Translation
u014435314的专栏
04-15 1845
作者：Markus Freitag and Yaser Al-Onaizan单位：IBM T.J. Watson Research Center关键词：Beam search; Pruning strategies问题：束搜索算法跟踪k个状态，而不仅仅只跟踪一个。它从k个随机生成的状态开始，在每一步中都生成所有k个状态的所有后继者。如果这其中的任何一个后继者是目标，那么算法就会停止。否则，它将从完...
基于PaddlePaddle的飞桨论文解读：StarGAN v2: Diverse Image Synthesis for Multiple Domains
qq_34357449的博客
08-06 690
目录 摘要 StarGAN v2网络架构 实验 1.Baselines 2.数据集 3.评价指标 实验结果分析 1.个别成分分析 2.多种图像合成方法的比较 结论 模型代码（model.py） 主体代码（main.py） 总结 摘要 一个好的图像到图像的翻译模型应该学习不同视觉域之间的映射，同时满足以下特性：1）生成图像的多样性 2）多域的可伸缩性。现有的方法解决了这两个问题中的任何一个，其多样性有限，或者所有领域都有多个模型。我们提出了starganv2，一个...
Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech
Peter的脱发日记
06-07 1082
Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech 原文地址 时间：2019年 概括 本文致力于建立一个fast,accurate,diverse的image caption模型，首先提出了传统beam search的慢、diversity不足，以及基于GAN、VAE方法的准确率不足的缺陷，然后提出了根据词性序列...
《Decoding with Value Networks for NMT》《se2seq Learning as Beam-Search Optimization》（对beam-search的改进）
wwx123521的博客
03-21 580
beam-search算法是一个动态规划的问题，在已获得了得分最高的候选语句的基础上，增加一个新的单词来扩展成为候选语句，然后保留由NMT模型评分最高的新候选语句，直到最大解码深度或者所有的语句都完全生成的时候（也就是所有语句都包含EOS符号的后缀），算法终止。 《Decoding with Value Networks for Neural Machine Learning》（NIPS 201...
Python中的namedtuple
u014435314的专栏
06-06 158
Python中命名元组namedtuple与C/C++语言中的结构体类似。collection模块中的namedtuple子类不仅可以使用item的index访问item，还可以通过item的name进行访问。
Python正则表达式
u014435314的专栏
05-28 104
re模块使Python语言拥有全部的正则表达式功能。re.match函数尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.search扫描整个字符串并返回第一个成功的匹配。...
Controllable Abstractive Summarization
FrankYu
12-03 1022
Controllable Abstractive SummarizationAngela Fan, David Grangier, Michael Auli Facebook AI Research，Menlo Park, CABackgoundSequence-to-Sequence(encoder-decoder) Attention mechanism Pointer Networks
Beam Search 简介
风云的专栏
06-01 1万+
概要传统的广度优先策略能够找到最优的路径，但是在搜索空间非常大的情况下，内存占用是指数级增长，很容易造成内存溢出，因此提出了beam search的算法。 beam search尝试在广度优先基础上进行进行搜索空间的优化（类似于剪枝）达到减少内存消耗的目的。Beam Search算法新的概念 为了达到搜索的目的，beam search 引入了启发函数的概念（hh) 来估计从当前节点到目标节点的损
全面了解Beam Search 2：一些改进点
远皓的博客
04-15 1843
在上一篇文章中我们介绍了基础版的beam search，这篇文章是对它的一个扩展，可以在模型不改的情况下获得更好的生成结果。今天的介绍围绕的也是一篇蛮新的论文，《The Curious Case of Neural Text Degeneration》，根据这篇论文的版面内容，它应该已经被ICLR 2020接收了。 论文截图 Beam Search的问题 先解释以下什么要对Beam Search...
beam search 简单例子实现及讲解
Talk Is Cheap
01-09 6795
from math import log from numpy import array from numpy import argmax # beam search def beam_search_decoder(data, k): sequences = [[list(), 1.0]] # walk over each step in sequence for row
一些重要的算法
热门推荐
陈皓专栏　【空谷幽兰，心如皓月】
07-22 10万+
本文罗列了一些比较重要的算法，有的我们经常在用，有的基本不用。有的很常见，有的有点偏。不过了解一下也是好事。也欢迎你留下你觉得有意义的算法。（原文：http://coolshell.cn/?p=2583）
fairseq | fairseq beam search 源码阅读笔记
月夜长影
10-02 2332
说明 使用的fairseq版本为 0.6.2 fairseq 进行beam search的逻辑位于 fairseq.sequence_generator.SequenceGanerator:generate SequenceGenerator负责处理整个搜索的过程, 大致逻辑为 对每个时刻, 调用self.search.step获取可能的候选, 将搜索到EOS的结果加入到结果候选中, 更新参数并进行下一步的搜索. self.search.step负责具体的搜索token的策略, 包括beam search
beam search
05-25
Beam search是一种序列生成算法，在自然语言处理中被广泛应用于机器翻译、语音识别、文本生成等任务中。与贪心算法不同，beam search考虑了多个候选项，从而得到更好的结果。 Beam search的基本思想是在每一步中保留前k个最有可能的候选项，然后在这些候选项中继续生成下一个词，直到生成完整个序列。这样可以大大减少搜索空间，提高搜索效率。 Beam search的缺点是可能会出现过度自信的情况，即过早地舍弃了一些潜在的好的候选项。为了解决这个问题，一些改进的算法也被提出，如diverse beam search和length-normalized beam search等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值