Pointer Network, copyNet与attention机制

经典decoder+ATT图:

pointer network是encoder-decoder结构, 前面的encoder提取语义, 后面decoder预测(指针指向的)位置.

普通的seq2seq摘要的decoder部分都是常见的人体蜈蚣结构, 即输出作为下一级输入, 普通的attention就是前一项输出与encoder隐层相乘+softmax得到a, 再与encoder隐层权重加和.
pointer不一样, 它在attention的softmax时直接拿到最大的a的编号, 直接把编号的encoder输入作为decoder输入, 再与decoder前一单元的输出加和, 送入当前单元进行预测.

---

2019/12/20

PrtNet和copyNet的文章
回顾
PtrNet的提出是解决了OOV的问题的, 但论文里没有给出实际的落地使用.
copyNet套用Ptr的结构, 加上copy机制, 做到了文本摘要.
copyNet的论文
copyNet不算复杂, 前提是能看懂PtrNet.

copyNet修改了decoder部分的策略, 除了已有传统词表的概率矩阵输出, 还要有输入句子构成的词表的概率矩阵输出. 其中OOV词就在后面这个词表里.
每一步decoder的输入 $h_t$ 都会接收attention和前一个的输出 $y_{t-1}$ 的位置向量, 它们的长度等于输入句子的长度.因为这是文本摘要任务, 所以预测的词必在文本中.

如图中$(c)StateUpdate$框里所示, $\rho$和$M$长度一样, 黑色代表上一个输出词"Tony"在输入句子中的位置.
虽然$M$和$\rho$一起指向了加和关系, 但实际上是$M$和$\rho$中时序对应的位置做$f({\rho }_t,M_t)$, 再将每个t做累加, $f$的公式在论文中有.这样做的原因是有时候一个词对应到输入中会有很多个位置.
处理完后的向量包含了高浓度的"Tony"的上下文语境, 即图中的棕色方块Selective Read for “Tony”.
它会和"Tony"在传统词表中的embedding拼接, 经过DNN作为下一单元的一部分输入.
让人疑惑的是, 论文说这种机制similar to attention, 也就是说原本的attention被移除了, 只用视野狭窄的bi-RNNs做上下文语义提取.

至此, 单元的输入被改成了: 上一次的输出, 上一次输出词的词向量, 以及上一次输出词在原句的上下文信息.

三种信息经decoder单元融合, 一来可以做常规词表的"普通"关键词输出, 即Generate-Mode; 二来可以结合$M$实现Pointer, 即Copy-Mode. 具体Copy-Mode的乘法公式在论文中, 有很多细节, 例如UNK词的处理.
得到Generate和Copy两部分词表后, 会将相同词的概率相加, 再softmax归一化, 得到最大概率的词.

对于OOV词, 论文假设它是UNK,和传统词表一起预测, 但没看到要怎么初始化它的向量. 一般做法是随机一个词向量做UNK.

copyNet的输入似乎有信息冗余, decoder部分既包含了$y_{t-1}$这个隐层来表示之前预测的序列, 还用上个词的词向量$e_{t-1}$与Selective Read做DNN, 虽然没明说, 但attention机制被换掉了, 种种迹象表明, 这个网络的视野变窄了, 而且极倾向于用原文信息做文本摘要, 因为最后概率softmax的时候, 两边词表大小都不一样, 小词表这边的概率肯定普遍都高, 即使相同词概率加和也没有用, 从论文的示例里也能看出来, 所以这个模型相当于把意译摘要这条路掐死了.