Pointer Networks简介及其应用

最新推荐文章于 2023-07-28 01:08:09 发布
最新推荐文章于 2023-07-28 01:08:09 发布
阅读量1.8w 收藏 95
点赞数 23
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40240670/article/details/86483896
版权

原文： https://zhuanlan.zhihu.com/p/48959800

 

本文介绍15年发表在NIPS上的一篇文章：Pointer Networks[1]，以及后续应用了Pointer Networks的三篇文章：Get To The Point: Summarization with Pointer-Generator Networks[2]、Incorporating Copying Mechanism in Sequence-to-Sequence Learning [3]和Multi-Source Pointer Network for Product Title Summarization[4]。

一、从Sequence2Sequence说起

Sequence2Sequence（简称seq2seq）模型是RNN的一个重要的应用场景，顾名思义，它实现了把一个序列转换成另外一个序列的功能，并且不要求输入序列和输出序列等长。比较典型的如机器翻译，一个英语句子“Who are you”和它对应的中文句子“你是谁”是两个不同的序列，seq2seq模型要做的就是把这样的序列对应起来。

由于类似语言这样的序列都存在时序关系，而RNN天生便适合处理具有时序关系的序列，因此seq2seq模型往往使用RNN来构建，如LSTM和GRU。具体结构见Sequence to Sequence Learning with Neural Networks[5]这篇文章提供的模型结构图：

 

图1：Seq2seq模型结构

在这幅图中，模型把序列“ABC”转换成了序列“WXYZ”。分析其结构，我们可以把seq2seq模型分为encoder和decoder两个部分。encoder部分接收“ABC”作为输入，然后将这个序列转换成为一个中间向量C，向量C可以认为是对输入序列的一种理解和表示形式。然后decoder部分把中间向量C作为自己的输入，通过解码操作得到输出序列“WXYZ”。

后来，Attention Mechanism[6]的加入使得seq2seq模型的性能大幅提升，从而大放异彩。那么Attention Mechanism做了些什么事呢？一言以蔽之，Attention Mechanism的作用就是将encoder的隐状态按照一定权重加和之后拼接（或者直接加和）到decoder的隐状态上，以此作为额外信息，起到所谓“软对齐”的作用，并且提高了整个模型的预测准确度。简单举个例子，在机器翻译中一直存在对齐的问题，也就是说源语言的某个单词应该和目标语言的哪个单词对应，如“Who are you”对应“你是谁”，如果我们简单地按照顺序进行匹配的话会发现单词的语义并不对应，显然“who”不能被翻译为“你”。而Attention Mechanism非常好地解决了这个问题。如前所述，Attention Mechanism会给输入序列的每一个元素分配一个权重，如在预测“你”这个字的时候输入序列中的“you”这个词的权重最大，这样模型就知道“你”是和“you”对应的，从而实现了软对齐。

二、Pointer Networks

背景讲完，我们就可以正式进入Pointer Networks这部分了。为什么在讨论Pointer Networks之前要先说seq2seq以及Attention Mechanism呢，因为Pointer Networks正是通过对Attention Mechanism的简化而得到的。

作者开篇就提到，传统的seq2seq模型是无法解决输出序列的词汇表会随着输入序列长度的改变而改变的问题的，如寻找凸包等。因为对于这类问题，输出往往是输入集合的子集。基于这种特点，作者考虑能不能找到一种结构类似编程语言中的指针，每个指针对应输入序列的一个元素，从而我们可以直接操作输入序列而不需要特意设定输出词汇表。作者给出的答案是指针网络（Pointer Networks）。我们来看作者给出的一个例子：

 

图2：Pointer Networks实例：寻找凸包

这个图的例子是给定p1到p4四个二维点的坐标，要求找到一个凸包。显然答案是p1->p4->p2->p1。图a是传统seq2seq模型的做法，就是把四个点的坐标作为输入序列输入进去，然后提供一个词汇表：[start, 1, 2, 3, 4, end]，最后依据词汇表预测出序列[start, 1, 4, 2, 1, end]，缺点作者也提到过了，对于图a的传统seq2seq模型来说，它的输出词汇表已经限定，当输入序列的长度变化的时候（如变为10个点）它根本无法预测大于4的数字。图b是作者提出的Pointer Networks，它预测的时候每一步都找当前输入序列中权重最大的那个元素，而由于输出序列完全来自输入序列，它可以适应输入序列的长度变化。

那么Pointer Networks具体是怎样实现的呢？

我们首先来看传统注意力机制的公式：

 

图3：传统注意力机制公式

其中是encoder的隐状态，而是decoder的隐状态，v,W1,W2都是可学习的参数，在得到之后对其执行softmax操

最低0.47元/天 解锁文章
ylyyyy
关注
NLP-生成模型-2015：Seq2Seq+Copy【 Pointer网络的Copy机制是对传统Attention机制的简化：输出针对输出词汇表的一个概率分布 --＞ 输出针对输入文本序列的概率分布】
u013250861的博客
08-25 605
NLP-自动摘要-2015：Pointer Networks
python自然语言处理—Pointer-Generator Networks(指针生成网络)
weixin_38477351的博客
10-11 1000
Pointer-Generator Networks(指针生成网络) 随着互联网的飞速发展，产生了越来越多的文本数据，文本信息过载问题变得日益严重，对各类文本进行"降维"处理显得非常必要，文本摘要便是其中一个重要的手段。 文本摘要根据摘要方法的不同可分为： 1、抽取式文本摘要：直接从原文中选取若干条重要的句子，并对它们进行排序和重组而形成摘要的方法。 ...
指针网络（Pointer network）--学习笔记
oneself的博客
10-01 4145
指针网络（Pointer network）--学习笔记
[NIPS2015]Pointer Networks
Deep Learning and NLP Farm
08-03 1万+
今年ACL上一篇联合抽取实体和关系的文章提到了pointer networks, 于是先大概了解下什么是pointer networks, 再回头看ACL上的那篇文章 pointer networks文中简称Ptr-Net, 是attention model 的一个变体，首先给出介绍比较详细的attention的文章，稍后讲解Ptr-Net http://blog.csdn.net/xbinwo
Pointer Network指针网络
热门推荐
一个nlp探险者的博客
07-25 1万+
Why Pointer Network Structure of Pointer Network How to process language generation by incorporating Pointer Network Get To The Point: Summarization with Pointer-Generator Networks CopyNet Product abstract generation through pointer network
【Pointer Networks】Pointer Networks简介
devil_son1234的博客
06-23 405
一、从Sequence2Sequence说起 Sequence2Sequence（简称seq2seq）模型是RNN的一个重要的应用场景，顾名思义，它实现了把一个序列转换成另外一个序列的功能，并且不要求输入序列和输出序列等长。比较典型的如机器翻译，一个英语句子“Who are you”和它对应的中文句子“你是谁”是两个不同的序列，seq2seq模型要做的就是把这样的序列对应起来。 由于类似语言这样的序列都存在时序关系，而RNN天生便适合处理具有时序关系的序列，因此seq2seq模型往往使用RNN来构建，如
《Pointer Networks》
qq_34325086的博客
09-29 621
这周读的是《Pointer Networks》这篇文章。作者是Google brain和UC Berkeley的研究人员，作者在本文中通过对编码器-解码器机制和注意力机制进行改进，提出了新的网络结构pointer network，并将其运用到解决组合最优化问题。下图为seq2seq模型与指针网络的对比： 可以看出传统的seq2seq模型最终产生的是一个序列，且序列中包含的元素个数与输入序列中...
Pointer Networks
bbbeoy的专栏
08-20 142
https://zhuanlan.zhihu.com/p/48959800
Pointer-Generator networks（PGN）模型: 生成式语言模型,通过指针网络实现了序列到序列的转换，并结合了语言模型和生成器网络的优点，提升了生成质量
最新发布
程序员光剑
07-28 1157
本文将介绍Pointer-Generator networks（PGN）模型，这是一种生成式语言模型，通过指针网络实现了序列到序列的转换，并结合了语言模型和生成器网络的优点，提升了生成质量。本文基于论文进行详细阐述，对其中的一些机制进行了重新解释和说明，方便读者理解PGN模型。PGN模型是一种新的模型，它同时利用了传统的机器翻译任务中的强大的语言建模能力和RNN结构中的长时记忆特性。相比于传统的seq2seq模型，PGN模型增加了一个指针网络，用来帮助生成模型选择输出语句的上下文。
Pointer-Networks:指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率
05-18
指针网络 指针网络Oriol Vinyals，Meire Fortunato，Navdeep Jaitly。 指针网络是一种新的神经体系结构，用于学习具有与输入序列中的位置相对应的离散令牌的元素的输出序列的条件概率。 在这个仓库中，我举了两个Pointer Networks模型的例子。 序列模型 在序列模型中，输出的长度与输入的长度相同。 我把玩具任务分拣了。 输出是输入的排序索引。 请参见以下示例。 // An example // Input : [0, 3, 1, 2] // Output: [0, 2, 3, 1] $ python sequence_train.py epoch: 0, Loss: 0.99817 Acc: 0.57% (51/9000) epoch: 2, Loss: 0.00077 Acc: 100.00% (9000/9000) epoch:
pointnetwork:点网络节点
08-04
点网 在 docker compose 中运行演示 演示设置包括三个在单独容器中运行的 Point Network 节点、一个运行测试网络的开发区块链节点（目前使用的是ganache-cli ），以及一个在专用容器中运行的 Point Network 合约部署脚本。 在演示中，每个点网络节点都分配了自己的角色。 节点角色是： 存储供应商 服务名称： storage_provider 容器名称： pointnetwork_storage_provider ZProxy 端口65500 API 端口： 24680 网站所有者 服务名称： website_owner 容器名称： pointnetwork_website_owner ZProxy 端口65501 API 端口： 24681 网站访问者 服务名称： website_visitor 容器名称： pointnetwo
pointer network 用到的数据
07-14
https://github.com/devsisters/pointer-network-tensorflow 的 tsp_10_train.zip
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5384
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
Pointer Network
KDLin‘s Blog
05-13 266
Pointer Network 简介 点网络及应用 一个经典问题：从点集中选出部分点，连线围起所有点。 这个问题能不能用神经网络来解？ 这个问题看似挺无聊的，只是解决了一个有解的问题，但可以应用于一些意想不到的地方，核心思想是，从所有点中选择部分点。 细节 感觉不像nn擅长的，好像并不存在几个点组合的固定模式，满足条件，换句话说，过去的数据似乎无法对任意点建模。但其实，换个角度，目标点集的模式是有的，比如，它们都位于点的外围，它们点于点之间的关系满足“”围起来“”的条件，所以，...
论文阅读——指针网络（Pointer Networks）
CMTSA的博客
09-23 2601
论文：Pointer Networks 作者：Oriol Vinyals et al. 1 Introduction 背景： 问题： 解决办法：
机器学习-29-Pointer Network(指针网络)
迷雾总会解
12-30 1万+
文章目录Pointer Network简介Pointer NetworkApplications-Summarization(应用：文章内容总结)背景介绍使用Pointer-Generator网络的文本摘要方法赋予seq2seq模型复制能力——CopyNet使用多来源Pointer Network的产品标题摘要方法Applications-Machine Translation(应用：机器翻译)Applications-Chat-bot(应用：对话)总结参考文献 Pointer Network 简介 问题
论文阅读 (62)：Pointer Networks
因吉的博客
07-28 512
指针网络是一种新的神经架构，用以学习输出序列的条件概率，其元素是与输入序列中的位置相对应的离散标记。已有的一些方法，例如序列到序列和神经图灵机并不能处理这个问题，因为它们输出的每一步中，目标类的数量与输入的长度有关，但输入序列的长度却是可变的。可变大小序列的排序，以及各种组合优化问题都属于此类问题。...............
Pointer Networks for Combinatorial Optimization 具体代码
05-05
Pointer Networks是一种用于组合优化问题的神经网络模型，它可以处理长度可变的序列输入并输出一个可重复的子集，这个子集的大小是固定的。 这个模型的代码可以在GitHub上找到，它被实现为一个TensorFlow模型。以下是代码的主要部分： ```python class PointerModel(object): def __init__(self, input_dim, hidden_dim, seq_len, lr=0.001): self.input_dim = input_dim self.hidden_dim = hidden_dim self.seq_len = seq_len self.lr = lr self.input_data = tf.placeholder(tf.float32, [None, self.input_dim]) self.target_data = tf.placeholder(tf.int32, [None, self.seq_len]) self.encoder_cell = tf.nn.rnn_cell.GRUCell(self.hidden_dim) self.decoder_cell = tf.nn.rnn_cell.GRUCell(self.hidden_dim) with tf.variable_scope('encoder'): self.encoder_outputs, self.encoder_final_state = tf.nn.dynamic_rnn(self.encoder_cell, self.input_data, dtype=tf.float32) with tf.variable_scope('decoder'): self.decoder_outputs, self.decoder_final_state = tf.nn.dynamic_rnn(self.decoder_cell, tf.zeros([tf.shape(self.input_data)[0], self.seq_len, self.hidden_dim]), dtype=tf.float32, initial_state=self.encoder_final_state) with tf.variable_scope('pointer'): self.W1 = tf.Variable(tf.random_normal([self.hidden_dim, self.hidden_dim], stddev=0.1)) self.W2 = tf.Variable(tf.random_normal([self.hidden_dim, self.hidden_dim], stddev=0.1)) self.v = tf.Variable(tf.random_normal([self.hidden_dim, 1], stddev=0.1)) def get_logits(i, prev_output): prev_output = tf.expand_dims(prev_output, 1) u = tf.tanh(tf.matmul(self.decoder_outputs[:, i, :], self.W1) + tf.matmul(prev_output, self.W2)) return tf.matmul(u, self.v) self.logits = [] prev_output = tf.zeros([tf.shape(self.input_data)[0], self.hidden_dim]) for i in range(self.seq_len): logit = get_logits(i, prev_output) self.logits.append(logit) prev_output = self.decoder_outputs[:, i, :] self.logits = tf.stack(self.logits, axis=1) self.probs = tf.nn.softmax(self.logits) loss_mask = 1 - tf.to_float(tf.equal(self.target_data, 0)) self.loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=self.logits, labels=self.target_data) * loss_mask) self.train_op = tf.train.AdamOptimizer(self.lr).minimize(self.loss) ``` 这个模型的实现包括了一个编码器和一个解码器，以及一个指针网络层。编码器和解码器都是GRU单元。指针网络层使用了两个权重矩阵和一个向量来计算每个位置的指针概率，并将它们组合成一个概率分布。 在训练过程中，模型使用交叉熵损失函数来最小化预测值与真实值之间的差距，并使用Adam优化器来更新模型的参数。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值