NLP-生成模型-2015：Seq2Seq+Copy【 Pointer网络的Copy机制是对传统Attention机制的简化：输出针对输出词汇表的一个概率分布 --＞ 输出针对输入文本序列的概率分布】

已于 2024-02-14 13:57:22 修改
阅读量588 收藏 2
点赞数 1
分类专栏： # NLP/文本摘要 # LLM/Transformer 文章标签： Pointer Net 自动摘要 Copy机制
于 2021-08-25 21:08:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/119919579
版权
本文介绍了Pointer Networks，它是对Seq2Seq模型和Attention机制的简化，尤其适用于输出序列是输入序列子集的情况。Pointer Networks通过直接输出针对输入序列的概率分布，解决了传统Seq2Seq模型在处理变长输出时的局限性，被应用于自动摘要等领域。
摘要由CSDN通过智能技术生成

《原始论文：Pointer Networks》

后续应用了Pointer Networks的三篇文章：

  • 《Get To The Point: Summarization with Pointer-Generator Networks》；
  • 《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》；
  • 《Multi-Source Pointer Network for Product Title Summarization》；

一、从Seq2Seq说起

Sequence2Sequence（简称seq2seq）模型是RNN的一个重要的应用场景，顾名思义，它实现了把一个序列转换成另外一个序列的功能，并且不要求输入序列和输出序列等长。比较典型的如机器翻译，一个英语句子“Who are you”和它对应的中文句子“你是谁”是两个不同的序列，seq2seq模型要做的就是把这样的序列对应起来。

由于类似语言这样的序列都存在时序关系，而RNN天生便适合处理具有时序关系的序列，因此seq2seq模型往往使用RNN来构建，如LSTM和GRU。具体结构见Sequence to Sequence Learning with Neural Networks 这篇文章提供的模型结构图：

在这里插入图片描述

在这幅图中，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
PyTorch-Batch-Attention-Seq2seq：批处理双RNN编码器和注意力解码器的PyTorch实现
02-03
PyTorch中的快速批处理Bi-RNN（GRU）编码器和注意解码器实现 这段代码是用PyTorch 0.2编写的。... PyTorch版本机制图，请参见此处： PyTorch Seq2seq官方机器翻译教程： 巴赫达瑙（Bahdanau）注意图，请参
文本生成系列（一）seq2seq中的copy机制
Flying_sfeng的博客
12-20 2622
本文记录seq2seq中一种广泛应用的方法：copy机制。 Incorporating Copying Mechanism in Sequence-to-Sequence Learning paper code 上图左边为seq2seq模型中的encode-decode框架，右边为左边小框框的放大图，也是copynet相对传统网络的改进。 所谓copynet，就是模型输入中的字符可以被复制到解码输出中，这可以一定程度上缓解OOV问题，另一方面也可以强化输入输出之间的关联，这在复述、对话等任务中是有很大帮助
Pointer Net and CopyNet
北风吹过的秋
05-27 537
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/BgRe6Y7Qvr9RylxlE_4eJw 01 - Pointer Net 在对话系统和问答等一些NLP任务中，代理（agents）有时需要直接引用用户消息。Oriol等人[1] 2015年提出的Pointer Net网络 (图1）解决了直接从输入句子复制token的问题。 Sequence-to-sequence【图1a】 RNN(蓝色)对输
NLP基础——序列模型（动手学深度学习）
最新发布
梅子酒的博客
06-03 647
序列模型是自然语言处理（NLP）和机器学习领域中一类重要的模型，它们特别适合处理具有时间顺序或序列结构的数据，例如文本、语音信号或时间序列数据。举个例子：一部电影的评分在不同时间段的评分可能是不一样的，锚定效应：当一部电影获得某项大奖后，该电影的评分可能会上升。季节性：新年贺岁电影和圣诞电影在相应时间会更受欢迎。电影评分不是不变的,和时间是有相关性的。处理序列数据需要统计工具和新的深度神经网络架构。我们通常使用 xtx_txt​ 表示模型在时间 ttt 的输出，ttt 代表时间步，通过以下公式进行预测：xt
nlp作业之概率计算
羊城迷鹿的博客
04-22 327
Q1 ： Compute the prior for the two classes + and -, and the likelihoods for each word given the class (leave in the form of fractions). import numpy as np from fractions import Fraction import nltk se...
语言模型与预训练：从Ngram到BERT
禅与计算机程序设计艺术
01-28 880
1.背景介绍 在深度学习和自然语言处理领域，语言模型和预训练技术是非常重要的。这篇文章将从N-gram到BERT这两种技术，探讨它们的核心概念、算法原理、实践应用和未来趋势。 1. 背景介绍 自然语言处理(NLP)是一种计算机科学的分支，旨在让计算机理解、生成和处理人类语言。语言模型是一种用于预测下一个词或词序列的概率分布的模型。预训练技术是一种用于在无监督或有限监督情况下训练模型的方法，以...
Transformer：Seq2Seq 模型 + 自注意力机制.zip
02-06
这个模型彻底改变了序列到序列（Seq2Seq）学习的方式，尤其在自然语言处理（NLP）任务中取得了显著的性能提升。在传统的RNN或LSTM序列模型中，信息传递依赖于序列的顺序，而Transformer通过引入自注意力（Self-...
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）
01-06
深度学习入门-4（机器翻译，注意力机制和Seq2seq模型，Transformer）一、机器翻译1、机器翻译概念2、数据的处理3、机器翻译组成模块（1）Encoder-Decoder框架（编码器-解码器）（2）Sequence to Sequence模型（3）集...
Transformer：Seq2Seq 模型 + 自注意力機制
02-10
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Google的研究团队在2017年的论文《Attention is All You Need》中提出。它彻底改变了传统的序列到序列（Seq2Seq）模型架构，引入了自注意力机制，极...
Bengali-Machine-Translation-seq2seq-with-attention:使用带有注意模型的编解码器进行孟加拉语机器翻译
05-16
最好的想法之一是序列到序列网络（seq2seq），其中两个递归神经网络（RNN）用于将一个序列转换为另一个序列。 RNN编码器在矢量空间中嵌入单词序列，而另一个RNN解码器则尝试对编码的序列进行解码。 另一个改进措施...
机器学习&&深度学习——序列模型（NLP启动！）
m0_52380556的博客
08-06 833
机器学习&&深度学习——序列模型（NLP启动！）
从零开始学NLP（八） 隐马尔科夫模型（超详细）
06-30 1983
1 HMM基础 PART1: 时间序列数据 股票价格，气温、文本 PART2: HMM基础 HMM作为经典的序列模型，广泛应用在各类AI场景中。其中，HMM的最成名之作可以认为是语音识别领域。在深度学习流行之前，绝大部分语音识别系统都基于HMM模型，也算是经典中的经典了。另外，HMM在文本领域也有着很多的应用如中文分词。 除此之外，理解HMM对于后续学习RNN模型来说有着比较大的意义，因为这两者很类似，你可以简单地认为HMM是传统的序列模型，RNN为基于深度学习的序列模型。 学习HMM并不简单，其中
NLP-生成模型-2016：CopyNet【Copy机制赋予seq2seq模型从源文本中复制词汇的能力，解决Decoder的OOV问题】
u013250861的博客
08-26 941
本文开篇，作者就提出他们的目标是解决seq2seq模型的复制问题，并且提供了一个例子： 在这个例子中，我们要对用户提出的问题做出回答，显然，蓝色部分根本不需要理解语义，直接复制即可。针对这种情形，作者希望能赋予seq2seq复制的能力。 解决方案其实和前一篇ACL17的文章有些类似。那么为什么先介绍17年的文章，后介绍16年的呢？这是因为ACL17的文章相对较为通俗易懂，我们在读过它后再来理解ACL16的文章会更容易。 模型包含两个部分：Generation-Mode用来根据词汇表生成词汇，然后Copy-
深度学习(八) Transformer 理论部分
AliForever2020的博客
08-16 972
本文是根据李宏毅老师的Transformer理论部分的讲解
NLP-生成模型-2017-PGNet：Seq2Seq+Attention+Coverage+Copy【Coverage解决解码端重复解码问题；Copy机制解决解码端OOV问题】【抽取式+生成式】
u013250861的博客
12-24 3504
Pointer Network(指针网络)属于生成式模型。 - 仅用传统的 Seq2Seq 模型可以实现生成式摘要，但存在两个问题： 1. 可能不准确地再现细节, 无法处理词汇不足（OOV）单词/they are liable to reproduce factual details inaccurately; 2. 倾向于重复自己/they tend to repeat themselves。 - 传统的 Seq2Seq 模型中 Decoder 输出的目标数量是固定的，例如翻译时 Decoder 预测
论文阅读 seq2seq模型的copy机制
thormas1996的博客
07-17 9462
论文阅读 Pointer Network Pointing Unknown Word 论文阅读 Pointer Network Pointing Unknown Word
【NLP】Seq2Seq模型的Copy机制、Coverage机制
qq_39691723的博客
07-27 1511
友情链接： 1.https://zhpmatrix.github.io/2019/01/29/NLP-rethinking-copy-and-coverage/ 2.https://zhuanlan.zhihu.com/p/73590690 3. 原论文:https://arxiv.org/pdf/1704.04368.pdf
一个带copy机制的seq2seq的pytorch实现
Talk Is Cheap
12-16 870
https://github.com/pcyin/tranX/blob/master/model/seq2seq_copy.py
深度学习与Transformer：Seq2Seq模型与注意力机制详解
深度学习+NLP+transformer是一个融合了深度学习技术、自然语言处理(NLP)和Transformer架构的研究领域。主要关注于序列到序列(Sequence-to-Sequence, Seq2Seq)模型及其在各种任务中的应用。 Seq2Seq模型是Google提出...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值