NLP-生成模型-2016：CopyNet【Copy机制赋予seq2seq模型从源文本中复制词汇的能力，解决Decoder的OOV问题】

已于 2024-02-14 13:57:48 修改
阅读量924 收藏 4
点赞数 1
分类专栏： # NLP/文本摘要 # NLP/机器翻译 # LLM/Transformer 文章标签： 自然语言处理 CopyNet
于 2021-08-26 17:15:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/119935625
版权

《原始论文：Incorporating Copying Mechanism in Sequence-to-Sequence Learning》

本文开篇，作者就提出他们的目标是解决seq2seq模型的复制问题，并且提供了一个例子：
在这里插入图片描述
在这个例子中，我们要对用户提出的问题做出回答，显然，蓝色部分根本不需要理解语义，直接复制即可。针对这种情形，作者希望能赋予seq2seq复制的能力。

解决方案其实和前一篇ACL17（《Get To The Point: Summarization with Pointer-Generator Networks》）的文章有些类似。ACL17的文章相对较为通俗易懂，我们在读过它后再来理解ACL16（《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》）的文章会更容易。

模型包含两个部分

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
NLP-生成模型-2015：Seq2Seq+Copy【 Pointer网络的Copy机制是对传统Attention机制的简化：输出针对输出词汇表的一个概率分布 --＞ 输出针对输入文本序列的概率分布】
u013250861的博客
08-25 577
NLP-自动摘要-2015：Pointer Networks
[nlp] CopyNet
心宝的博客
01-07 256
CopyNet 随着 ACL 2017 accepted paper list 的公布，可以看到一些经典的工作仍然在被各种应用和改进。其中不仅有引用量已经飙过 1000 的 attention mechanism，同时还有非常简单还用的 Pointer Network 和 CopyNet。 基于 Pointer Network 和 CopyNet 的一些重要和新鲜工作。： [1] Jiatao G...
NLP基础（五）：CopyNet和PGN模型
lygeneral的博客
07-06 1524
1.
CopyNet
xvshiting的专栏
08-30 5049
CopyNet 个人理解 之前了解过seq2seq模型，最近因为一些原因想要深入了解下copyNet 和 pointNet 。我首先读了 《Incorporating Copying Mechanism in Sequence-to-Sequence Learning 》这篇比较经典的论文，接下来就简单介绍一下论文中模型的结构以及自己的一些理解。 简单来说，copyNet 还是属于se...
seq2seq结构的问题以及PGN网络模型
h2728677716的博客
05-12 546
问题1： 从模型的路径上看，encoder到实际输出有一定距离，从此限制了反向传播。 如果encoder decoder的seq2seq链很长，这个模型计算的attention值传到最后会越来越少，导致编码解码效果很差。（encoder信息消失的比较严重） 问题2： 摘要总结的结果有可能因为OOV的问题导致不准去。 （OOV：词表未登录词， 一般我们生成的未登录词会使用UNK表示） 问题3： 摘要结果会出现repeat重复的信息，比如重复出现德国队击败阿根廷队。 PGN指针生成网络 针
文本生成系列（一）seq2seq中的copy机制
Flying_sfeng的博客
12-20 2546
本文记录seq2seq中一种广泛应用的方法：copy机制。 Incorporating Copying Mechanism in Sequence-to-Sequence Learning paper code 上图左边为seq2seq模型中的encode-decode框架，右边为左边小框框的放大图，也是copynet相对传统网络的改进。 所谓copynet，就是模型输入中的字符可以被复制到解码输出中，这可以一定程度上缓解OOV问题，另一方面也可以强化输入输出之间的关联，这在复述、对话等任务中是有很大帮助
copy net
yiqingyang2012的专栏
09-20 1239
识别target句子中的每个词和源句子中哪些位置的词相同，在返回的cc矩阵里保存位置 返回值 的shape为 [source.shape[0], target.shape[1], source.shape[1]] source.shape[0]：为一个batch里，源句子数； target.shape[1] ：每个目标句子的长度 source.shape[1]：每个源句子的长度 代码如下：
【NLP】Seq2Seq模型的Copy机制、Coverage机制
qq_39691723的博客
07-27 1500
友情链接： 1.https://zhpmatrix.github.io/2019/01/29/NLP-rethinking-copy-and-coverage/ 2.https://zhuanlan.zhihu.com/p/73590690 3. 原论文:https://arxiv.org/pdf/1704.04368.pdf
Seq2seq-Chatbot-for-Keras：此存储库包含一个新的基于seq2seq建模的chatbot生成模型
02-03
适用于Keras的Seq2seq聊天机器人 ... 规范seq2seq模型在神经机器翻译中变得很流行，该任务对属于输入和输出序列的单词具有不同的先验概率分布，因为输入和输出话语是用不同的语言编写的。 此处介绍的体系结构假定
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）
01-06
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）一、机器翻译1、机器翻译概念2、数据的处理3、机器翻译组成模块（1）Encoder-Decoder框架（编码器-解码器）（2）Sequence to Sequence模型（3）集...
PyTorch-Batch-Attention-Seq2seq：批处理双RNN编码器和注意力解码器的PyTorch实现
02-03
您可以从其源代码中学习。 用法：请注意有关注意力-RNN机器翻译的官方pytorch教程，除了此实现处理批处理输入，并且实现稍微不同的注意力机制。 为了找出实现方式在公式级别上的差异，下面的插图会有所帮助。 ...
Bengali-Machine-Translation-seq2seq-with-attention:使用带有注意模型的编解码器进行孟加拉语机器翻译
05-16
最好的想法之一是序列到序列网络（seq2seq），其中两个递归神经网络（RNN）用于将一个序列转换为另一个序列。 RNN编码器在矢量空间中嵌入单词序列，而另一个RNN解码器则尝试对编码的序列进行解码。 另一个改进措施...
基于python的GPT2中文文本生成模型项目实现
03-26
基于python的GPT2中文文本生成模型项目实现
CopyNet 阅读笔记
weixin_33862041的博客
07-25 337
Incorporating copying mechanism in sequence-to-sequence learning Jiatao GU et al. ACL2016 using LCSTS Dataset Models 整体: Prediction: 相比上一个有个开关的方式，这篇论文则将概率相加再softmax得到输出。对于V中...
论文笔记：Incorporating Copying Mechanism in Sequence-to-Sequence Learning-copynet
orangefly0214的博客
12-03 2006
主要用途： certain segments in the input sequence are selectively replicated in the output sequence. COPYNET can nicely integrate the regular way of word generation in the decoder with the new copy-ing m...
Pointer Net and CopyNet
北风吹过的秋
05-27 501
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/BgRe6Y7Qvr9RylxlE_4eJw 01 - Pointer Net 在对话系统和问答等一些NLP任务中，代理（agents）有时需要直接引用用户消息。Oriol等人[1] 2015年提出的Pointer Net网络 (图1）解决了直接从输入句子复制token的问题。 Sequence-to-sequence【图1a】 RNN(蓝色)对输
NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】
u013250861的博客
12-24 3313
Pointer Network(指针网络)属于生成式模型。 - 仅用传统的 Seq2Seq 模型可以实现生成式摘要，但存在两个问题： 1. 可能不准确地再现细节, 无法处理词汇不足（OOV）单词/they are liable to reproduce factual details inaccurately; 2. 倾向于重复自己/they tend to repeat themselves。 - 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测
Seq2Seq，attention机制的一些问题及解决方案
KDLin‘s Blog
05-13 1037
目录 - 1. PixelRNN - 2. Conditional Sequence Generation - 2.1 在每次time step考虑Context - 2.2 Dynamic Conditional Generation - 2.1.1 Attention可用于可视化 - 2.1.2 Memory Network - 2.2.3 Neural T...
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.05.01-2024.05.10
最新发布
小小帅
05-28 851
医学图像识别任务因存在多种不同的病理指征而明显复杂化，这给未见标签的多标签分类带来了独特的挑战。这种复杂性凸显了对采用多标签零点学习的计算机辅助诊断方法的需求。预训练视觉语言模型（VLMs）的最新进展展示了医疗图像零镜头分类的显著能力。然而，这些方法在利用来自更广泛图像数据集的大量预训练知识方面存在局限性，而且通常依赖于放射科专家的手动提示构建。通过自动调整提示过程，提示学习技术已成为使 VLM 适应下游任务的有效方法。
传统nlp end2end seq2seq encoder-decoder transformer bert gpt 的区别
06-15
传统NLP方法主要使用规则和统计学习方法来处理自然语言文本，例如基于n-gram的语言模型、基于HMM的分词和词性标注算法等。这些方法需要手动设计特征和规则，并且通常难以处理长文本和复杂语法。 End-to-End Seq2Seq模型是一种基于神经网络的序列到序列模型，可以将一个序列映射为另一个序列。它广泛用于机器翻译、文本摘要、对话系统等任务。它通常由两个循环神经网络（RNN）组成，一个编码器将输入序列编码为固定长度的向量，另一个解码器将此向量解码为输出序列。 Encoder-Decoder模型也是一种基于神经网络的序列到序列模型，它与Seq2Seq模型类似，但它通常使用卷积神经网络（CNN）或递归神经网络（RNN）作为编码器和解码器。它常用于机器翻译、语音识别等任务。 Transformer模型是一种基于自注意力机制的神经网络模型，它可以在不使用RNN和CNN的情况下捕捉序列中的长期依赖关系。它广泛用于机器翻译、文本摘要、问答系统等任务，例如Google的翻译系统就是基于Transformer模型实现的。 BERT模型（Bidirectional Encoder Representations from Transformers）是一种基于Transformer模型的预训练语言模型，它可以在大规模无标注文本上进行预训练，然后在少量标注数据上进行微调，用于各种自然语言处理任务，例如文本分类、命名实体识别、机器翻译等。 GPT模型（Generative Pre-training Transformer）也是一种基于Transformer模型的预训练语言模型，它可以在大规模无标注文本上进行预训练，然后在特定的任务上进行微调，例如文本生成、对话系统等。与BERT不同的是，GPT是一个单向的语言模型，只能生成单向的文本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值