【深度学习】Pointer Network

Pointer Network

论文地址：https://arxiv.org/pdf/1506.03134.pdf

一、概述

传统的 seq2seq 模型会预先固定输出的词汇表，无法解决 输出序列的词汇表会随着输入序列长度的改变而改变 的问题，如寻找凸包等。对于这类问题，输出往往是输入集合的子集。

下图是凸包问题示例：

Pointer Network 的主要特点如下：

• Pointer Network的输出是离散的 token，对应 input sequence 中的位置；
• 在输出的每一步， target classes 的个数取决于输入的长度，也就是说输出的 vocabulary size 是随着输入可变的；
• 适用于解决排序、凸包、Travelling sales person等问题；

二、模型

• Pointer network 是通过 neural attention 机制来解决输出 dictionary 依赖于输入长度的问题的
• 与一般的 attention 方式不同的是， pointer network并不是在decoder的每一步使用attention 对 encoder 的 hidden units 加权求和，而是 直接利用attention 作为指针去选出 input sequence 中的一个去作为输出
  

传统注意力机制

• $e_i$ 和 $d_j$ 分别是 编码和解码的hidden states
• $v$，$W_1$ 和 $W_2$ 是模型需要学习的参数
• 最后将$d_i^{\prime }$ 和 $d_i$连接起来作为下一步的hidden states

Pointer network

三、应用

在文本摘要任务中，可以用Pointer Networks来复制源文本中的单词。
比如 pointer-generator: https://arxiv.org/pdf/1704.04368.pdf

参考资料

A Paper A Day: #11 Pointer Networks
Pointer Networks简介及其应用
李宏毅 Pointer network PPT