论文阅读 seq2seq模型的coverage机制

最新推荐文章于 2024-06-27 00:19:02 发布
最新推荐文章于 2024-06-27 00:19:02 发布
阅读量8.9k 收藏 16
点赞数 2
分类专栏： 自然语言处理 文章标签： seq2seq coverage机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thormas1996/article/details/81536977
版权
本文介绍了《Get To The Point: Summarization with Pointer-Generator Networks》中提出的coverage机制，旨在解决seq2seq模型生成重复片段的问题。机制通过在attention部分引入新参数ct，以记录已生成词的信息，并通过loss函数的惩罚项抑制重复生成。实验显示，该机制在CNN/Daily Mail dataset上提高了性能。
摘要由CSDN通过智能技术生成

Get To The Point: Summarization with Pointer-Generator Networks

Abigail See, Peter J. Liu, Christopher D. Manning
Standford University & Google Brain, 2017

这是ACL2017上的一篇文章，提出了coverage机制，目的是为了解决seq2seq模型生成句子中经常有重复片段的现象。

之前Statistical Machine Translation就已经存在该机制了，NMT中也有人应用了。但是这篇率先用于生成式任务。
BTW这篇文章的结构图相当好看，似乎就是用ppt做的，code也开源了：
https://github.com/abisee/pointer-generator

先看看seq2seq的结构：
这里写图片描述
再看看加coverage机制的结构图：
这里写图片描述

图中的 pgen p g e n 机制就是pointer softmax，详细可以见另一篇介绍copy机制的文章：seq2seq模型中的copy机制

整体结构和pointer generator network是一样的，需要改动的是attention的部分：

eti=vTtanh(Wh
最低0.47元/天 解锁文章
thormas1996
关注
专栏目录
[nlp] seq2seq模型优化，coverage&point-generator-networks
心宝的博客
12-16 341
典型的Seq2Seq
对《Pointer-Generator Networks》中的Coverage机制的小改进
sinat_39589569的博客
08-18 1286
1 What 在Seq2seq模型中，重复生成文字是常见的问题。《Pointer-Generator Networks》作者在《Modeling Coverage for Neural Machine Translation》提出的Coverage机制的基础上，简化了Coverage机制并融合到其模型中，在decoder的每个时间步维护一个coverage向量，该向量由时刻 t 之前的attention weight向量累加获得。 ct=∑t′=0t−1at′ c_t =\sum_{t\rq=0}^{t-1
介绍seq2seq中coverage应用的两篇文章(ppt)
ralbuckle21的专栏
03-12 1171
Tu, Zhaopeng, et al. "Modeling coverage for neural machine translation." arXiv preprint arXiv:1601.04811 (2016).Tu, Zhaopeng, et al. "Neural Machine Translation with Reconstruction." AAAI. 2017.
序列到序列模型（Seq2Seq）
最新发布
2201_75395747的博客
06-27 1842
本质上，注意力机制能够为表征中较有价值的部分分配较多的计算资源。这个有趣的想法自提出后得到了快速发展，特别是启发了依靠注意力机制来编码输入序列并解码出输出序列的变换器（Transformer）模型的设计 [2]。变换器抛弃了卷积神经网络和循环神经网络的架构。它在计算效率上比基于循环神经网络的编码器—解码器模型通常更具明显优势。含注意力机制的变换器的编码结构在后来的BERT预训练模型中得以应用并令后者大放异彩：微调后的模型在多达11项自然语言处理任务中取得了当时最先进的结果 [3]。
Seq2Seq——Attention模型原理解析
七月听雪的博客
08-08 1197
https://zhuanlan.zhihu.com/p/37290775 参考了这篇知乎。 Seq2Seq，即通过Encoder将输入语句进行编码得到固定长度的Context Vector向量，（这个编码过程实际上是一个信息有损压缩的过程，也就是说编码器里所有的信息都要压缩在一个Context Vector中），随后再将Context Vector传给Decoder进行翻译结果的生成，在De...
seq2seq框架中技术要点汇总
Deep Learning and NLP Farm
02-26 876
Copy Mechanism：解决OOV词 来自于文章《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》发表在ACL2016
python代码覆盖率coverage简介与用法
weixin_30791095的博客
10-19 288
如果衡量单元测试对相应代码的测试重量，覆盖率是一个必要非充分条件，因此统计代码的覆盖率，检视单测是否充分，就尤为的重要。这里针对python-unittest的单测的覆盖率coverage进行使用说明与分析. 参考链接：https://blog.csdn.net/xiaoxinyu316/article/details/53695342 coverage简介： coverage是一种用...
NLP学习—12.Seq2Seq模型与Attention机制
柳杰的博客
08-21 1111
文章目录引言一、文本生成任务二、Seq2Seq讲解1.Seq2Seq模型存在问题三、Beam Search四、Seq2Seq+Attention机制 引言   Seq2Seq模型用于文本生成。在这个模型基础上，加上Attention机制可以使得模型效果更好。 一、文本生成任务   常见的文本生成任务有以下几种： Machine Translation（机器翻译） 不同语言之间的转换 Summarization（自动生成摘要） 有两种方法论： 抽取式摘要生成 将原始文本中关键的句子、短语、关键单词抽
NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】
u013250861的博客
12-24 3540
Pointer Network(指针网络)属于生成式模型。 - 仅用传统的 Seq2Seq 模型可以实现生成式摘要，但存在两个问题： 1. 可能不准确地再现细节, 无法处理词汇不足（OOV）单词/they are liable to reproduce factual details inaccurately; 2. 倾向于重复自己/they tend to repeat themselves。 - 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测
NLP-生成模型-2014：Seq2Seq【缺点：①解码器无法对齐编码器（Attention机制）；②编码器端信息过使用或欠使用（Coverage机制）；③解码器无法解决OOV（Pointer机制）】
u013250861的博客
12-22 1964
我们之前遇到的较为熟悉的序列问题，主要是利用一系列输入序列构建模型，预测某一种情况下的对应取值或者标签，在数学上的表述也就是通过一系列形如 Xi=(x1,x2,...,xn)\textbf{X}_i=(x_1,x_2,...,x_n)Xi​=(x1​,x2​,...,xn​) 的向量序列来预测 YYY 值，这类的问题的共同特点是，输入可以是一个定长或者不定长的序列，但输出一般要求是一个固定长度的序列（单个标签较为常见，即长度为1的序列）。 例如利用RNN网络的文本情感分类，输入的文本长度不固定，但输出是某一
从Seq2seq到Pointer-Generator Networks
TENLIU2099的博客
05-26 1413
文章目录1 seq2seq1.1 为什么诞生seq2seq1.2 基本概述1.3 训练和预测2 注意力机制 Attention2.1 为什么会诞生Attention2.2 基本概述内容向量权重$a_{i,j}$得分函数3 poniter-network 指针网络3.1 为什么诞生pointer-network3.2 概述4 pointer-generator network 指针生成网络4.1 为...
GIS原理篇 Coverage
Birds-Frags's Blog
05-13 2621
一、什么是 Coverage Coverage 是一种用于存储矢量数据的地理相关数据模型，它包含地理要素的空间（位置）数据和属性（描述性）数据。Coverage 使用一组要素类来表示地理要素。每个要素类存储一组点、线（弧）、面或注记（文本）。Coverage 可以具有拓扑，用于确定要素间的关系。 Coverage 以目录形式存储，而目录中的每个要素类则以一组文件的形式进行存储。例如，Coverage 在 ArcCatalog 中显示时会带有图标，如下所示。在此示例中您可以看到，streams Coverag
真正理解指针生成网络——Summarization with Pointer-Generator Networks
mr2zhang的博客
06-03 1万+
文本摘要的主要方式： 文本摘要的主要方式分为两种，一种是抽取式（extractive），另一种是生成式（abstractive） 抽取式是根据词语重要性、句子重要性排序，抽取出重要度高的句子，从而形成摘要，主要是对文本的选择，过程相对更容易，但是对于复杂的文本时，很难仅仅通过选择文本来形成摘要，如小说 生成式则是通过自然语言处理，输出简洁、流畅、保留关键信息，更像人进行摘要的过程，设计到生成，过程...
NLP-生成模型-2016：Seq2Seq+Attention+Coverage 【覆盖机制：解决编码端信息(词)的过使用/欠使用问题（Attention机制不能清楚地知道哪些信息被用过或没被用过）】
u013250861的博客
02-28 1232
自然语言处理(NLP)
如何生成你的专属推荐文案？智能文案在1688平台的应用 ...
测试0901-1
02-20 1151
小叽导读：淘系购物平台主要依靠淘宝达人撰写商品推荐文案以吸引买家，但这项工作需要高昂的人力成本，且对于同一件商品，无法为偏好不同属性的买家创作有针对性的推荐文案。 1688作为B2B的平台，面向的用户是以商人为主体的买家，此前在个性化推荐方面数据积累处于空白状态，靠人力来填补这一空白并不现实，因此，智能文案生成将在此发挥巨大作用。接下来，我们一起探寻...
【NLP】Seq2Seq模型的Copy机制、Coverage机制
qq_39691723的博客
07-27 1536
友情链接： 1.https://zhpmatrix.github.io/2019/01/29/NLP-rethinking-copy-and-coverage/ 2.https://zhuanlan.zhihu.com/p/73590690 3. 原论文:https://arxiv.org/pdf/1704.04368.pdf
coverage 测试代码覆盖率
热门推荐
柳白的博客
11-30 5万+
测试覆盖率，简单的说，就是评价测试活动覆盖产品代码的指标。测试的目的，是确认产品代码按照预期一样工作，也可以看作是产品代码工作方式的说明文档。进一步考虑，测试覆盖率可以看作是产品代码质量的间接指标－－之所以说是间接指标，因为测试覆盖率评价的是测试代码的质量，并不是产品代码的质量。代码覆盖率是一种白盒测试，因为测试覆盖率是评价产品代码类内部的指标，而不是评价系统接口或规约。测试覆盖率尤其用于评价测试...
corde coverage
harry的博客
06-05 664
用ModelSim做硬件设计验证的时候，需要了解待测设计（DUT）的代码覆盖率（code coverage），这就需要用到ModelSim自带的Code Coverage功能，ModelSim代码覆盖率功能Code coverage，能报告出statement（语句） 、branch（分支）、condition（条件）、 expression（表达式）、toggle（信号反转）、fsm（有限状态机
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值