[ACL2016] Incorporating Copying Mechanism in Sequence-to-Sequence Learning

目前在自然语言处理的很多任务中，比如机器翻译、句法分析、自动文摘以及对话系统等领域，sequence-to-sequence 已经取得了瞩目的成就。简单说下sequence-to-sequence, 也称为seq2seq 由两个RNN组成：处理输入的编码器网络和生成输出的解码器网络. 所以也称之为encoder-decoder model.
paper 提出了一种”copying mechanism”, 意思就是复制input sentence中的segment 然后复制到output sequence. 举个例子，比如在对话系统中，日期或实体信息就需要复制。
目前很多做法都是讲attention model 融入到seq2seq中，本文提出的网络结构称为copynet, 可以有效的解决上面提出的问题

在decode的时候有三点特别之处：
（1）prediction: 输出有是个generate-code和copy-mode的混合模型， copy-mode就是从input sentence 中选词
（2）之前更新状态s$_i$=f(s i−