论文笔记：Diverse Beam Search for Increased Novelty in Abstractive Summarization

最新推荐文章于 2022-03-28 14:11:25 发布
最新推荐文章于 2022-03-28 14:11:25 发布
阅读量1k 收藏 1
点赞数
分类专栏： 论文笔记 自动文摘 文章标签： Abstractive Summarization
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014435314/article/details/79931691
版权
该论文提出了一种新的摘要生成方法，通过Diverse Beam Search降低抽取性，增强摘要的创新性。使用MMR和Sent2Vec评估候选序列，确保摘要与原文内容相关但避免过度抽取。实验显示这种方法在降低抽取率的同时，提升了ROUGE得分。
摘要由CSDN通过智能技术生成

文章来源：

Arxiv，2018

作者：

Cibils Andre, Musat Claudiu, Hossmann Andreea, Baeriswyl Michael

关键词：

Extractiveness; Diverse Beam Search;Sent2Vec; MMR

问题：

如何降低生成式摘要的抽取性？

模型：

PGNet生成摘要由于可以选择是否利用拷贝机制，使得实际生成的摘要中从原文抽取的部分过多。这篇文章指出，现有的NLP指标——plagiarism score由于只关注LCS(longest common sequence)，不能很好区分完全抽取和部分抽取的句子。于是文章提出了一个新的用于衡量抽取性的指标——extractiveness score

最低0.47元/天 解锁文章
Shirveon
关注
专栏目录
StarGAN v2: Diverse Image Synthesis for Multiple Domain
程序员光剑
08-02 876
在过去的十年里，生成对抗网络（GANs）已经推动了图像、视频、音频等各种数据形式的创作和转化。通过学习一种已知图像的模式并生成类似但不完全相同的新图像，这种生成模型被广泛应用于视觉艺术、科学、工程和游戏设计等领域。在现实世界中，一个对象可以有多种外观或形态，比如一只猫可能有黑白两色的外表，也可能有褐色的毛皮和蓝色的耳朵；在计算机视觉任务中，目标对象可以有多种属性，如身材高大丰满，身材矮小瘦弱，面部轮廓复杂，皱纹横冲直撞……这些差异性造就了图像数据的多样性。
【CVPR2024】 EDITOR Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification
最新发布
weixin_49090702的博客
03-18 1042
单模态对象重新识别（ReID）在复杂视觉场景中保持鲁棒性面临巨大挑战。相比之下，多模态对象ReID利用了来自不同模态的互补信息，显示出在实际应用中巨大的潜力。然而，以前的方法可能容易受到无关背景的影响，并且通常忽略模态间的差距。为了解决上述问题，我们提出了一种新颖的学习框架EDITOR，用于从视觉Transformer中为多模态对象ReID选择多样的标记。我们首先使用共享视觉Transformer从不同的输入模态中提取标记化特征。
论文阅读：Diverse Beam Search--Decoding Diverse Solutions from Neural Sequence Models
YUFAN_ZHAO的博客
01-22 5006
因为最近一个实验室项目即将开始，关于给中国移动公司做一个智能客服对话系统，所以这段时间我开始搜集相关的最新论文开始阅读，今天给大家带来的是>       Neural Sequence Model（RNN、LSTM）常用来处理有时序性的数据。目前在decode的过程中经常会使用beam search算法，这个算法类似于贪心算法，在每个时刻输出后会保留概率前k大的序列，其它的舍弃掉。举个例
diversity beam search
J~的博客
04-16 1182
Seq2Seq中常用到的优化方法就是Beam Search，但是Beam Search的一个缺点就是生成的N个回答往往差异性很小，无法体现语言的多样性（比如文本摘要、机器翻译的生成文本，往往有不止一种表述方式）。最近看论文的时候发现Google提出的改进Beam Search方法，下面来稍微总结下。 论文地址：https://arxiv.org/pdf/1610.02424.pdf 具体...
DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS翻译
nopSled
03-28 905
摘要 神经序列模型被广泛用于建模时间序列数据。同样普遍使用的是将集束搜索（BS）用作近似推理算法，以解码来自这些模型的输出序列。BS以贪婪方式从左到右探索搜索空间，并只保留top-B个候选，这导致生成的序列仅仅轻微不同。产生几乎相同的序列列表不仅是计算上浪费，而且通常不能捕获复杂AI任务的固有模糊性。为了克服这个问题，我们提出了Diverse Beam Search（DBS），通过优化多样性增强目标来解码出多样化输出列表，且可作为BS的替代方案。我们观察到，我们的方法通过控制搜索空间的探索和开发来发现更好的
《Decoding with Value Networks for NMT》《se2seq Learning as Beam-Search Optimization》（对beam-search的改进）
wwx123521的博客
03-21 580
beam-search算法是一个动态规划的问题，在已获得了得分最高的候选语句的基础上，增加一个新的单词来扩展成为候选语句，然后保留由NMT模型评分最高的新候选语句，直到最大解码深度或者所有的语句都完全生成的时候（也就是所有语句都包含EOS符号的后缀），算法终止。 《Decoding with Value Networks for Neural Machine Learning》（NIPS 201...
Seq2Seq and NMT(基于cs224n的最全综述神经机器翻译技术)
ChadWick的博客
07-12 933
文章目录Machine Translation的简介：统计机器翻译模型(SMT)：神经机器翻译（NMT）-sequence 2 sequenceGreedy decodingBeam searching decodingBeam search decoding: stopping criterion—停止标准NMT与SMT的对比：NMT的缺点：NMT评估-BLEUNMT仍然需要重点研究和解决的领域：NMT研究的继续-sequence to sequence的新进展（Attention)Attention的工
基于PaddlePaddle的飞桨论文解读：StarGAN v2: Diverse Image Synthesis for Multiple Domains
qq_34357449的博客
08-06 689
目录 摘要 StarGAN v2网络架构 实验 1.Baselines 2.数据集 3.评价指标 实验结果分析 1.个别成分分析 2.多种图像合成方法的比较 结论 模型代码（model.py） 主体代码（main.py） 总结 摘要 一个好的图像到图像的翻译模型应该学习不同视觉域之间的映射，同时满足以下特性：1）生成图像的多样性 2）多域的可伸缩性。现有的方法解决了这两个问题中的任何一个，其多样性有限，或者所有领域都有多个模型。我们提出了starganv2，一个...
Python中的namedtuple
u014435314的专栏
06-06 158
Python中命名元组namedtuple与C/C++语言中的结构体类似。collection模块中的namedtuple子类不仅可以使用item的index访问item，还可以通过item的name进行访问。
Python正则表达式
u014435314的专栏
05-28 103
re模块使Python语言拥有全部的正则表达式功能。re.match函数尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.search扫描整个字符串并返回第一个成功的匹配。...
Controllable Abstractive Summarization
FrankYu
12-03 1021
Controllable Abstractive SummarizationAngela Fan, David Grangier, Michael Auli Facebook AI Research，Menlo Park, CABackgoundSequence-to-Sequence(encoder-decoder) Attention mechanism Pointer Networks
论文笔记：Beam Search Strategies for Neural Machine Translation
u014435314的专栏
04-15 1840
作者：Markus Freitag and Yaser Al-Onaizan单位：IBM T.J. Watson Research Center关键词：Beam search; Pruning strategies问题：束搜索算法跟踪k个状态，而不仅仅只跟踪一个。它从k个随机生成的状态开始，在每一步中都生成所有k个状态的所有后继者。如果这其中的任何一个后继者是目标，那么算法就会停止。否则，它将从完...
beam search 简单例子实现及讲解
Talk Is Cheap
01-09 6795
from math import log from numpy import array from numpy import argmax # beam search def beam_search_decoder(data, k): sequences = [[list(), 1.0]] # walk over each step in sequence for row
一些重要的算法
热门推荐
陈皓专栏　【空谷幽兰，心如皓月】
07-22 10万+
本文罗列了一些比较重要的算法，有的我们经常在用，有的基本不用。有的很常见，有的有点偏。不过了解一下也是好事。也欢迎你留下你觉得有意义的算法。（原文：http://coolshell.cn/?p=2583）
Abstractive Summarization
weixin_30561177的博客
07-25 1329
Sequence-to-sequence Framework A Neural Attention Model for Abstractive Sentence Summarization Alexander M. Rush et al., Facebook AI Research/Harvard EMNLP2015 sentence level seq2seq模型在2014年提出，这篇论文是...
beam-search及其torch实现
NewDreamstyle的博客
08-03 3556
注： 来源于cs224n2019-a4作业代码 NG视频介绍 我的另一篇博客 beam-search为一种解码算法，应用于test部分，在train中不使用因为train都会有一个正确答案，并不需要特地的去选择。思想~~最短路径，一定要理解它与维特比算法以及greedysearch之间的区别，这里不多叙述。 流程 以【seq2seq-attention】为例，beam-size= 3，输入X首先...
机器学习（二十三）——Beam Search, NLP机器翻译常用评价度量, 模型驱动 vs 数据驱动
antkillerfarm的专栏
12-25 7738
机器学习（二十三）——Beam Search, NLP机器翻译常用评价度量, 模型驱动 vs 数据驱动
beam search算法
wolfrevoda的专栏
03-20 1万+
在看论文Sequence to Sequence Learning with neural networks时看到了beam search算法，特此记录一下该算法的基本思想在CS领域，beam search是一种启发式搜索，在优化领域，其属于一种最佳优先算法，最佳优先算法是一种图搜索算法，其会将所有可能的解依据启发式规则进行排序，该规则用来衡量得到的解与目标解到底有多接近。但是对于beam sear
beam search
05-25
Beam search是一种序列生成算法，在自然语言处理中被广泛应用于机器翻译、语音识别、文本生成等任务中。与贪心算法不同，beam search考虑了多个候选项，从而得到更好的结果。 Beam search的基本思想是在每一步中保留前k个最有可能的候选项，然后在这些候选项中继续生成下一个词，直到生成完整个序列。这样可以大大减少搜索空间，提高搜索效率。 Beam search的缺点是可能会出现过度自信的情况，即过早地舍弃了一些潜在的好的候选项。为了解决这个问题，一些改进的算法也被提出，如diverse beam search和length-normalized beam search等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值