PGN（Pointer-Generator Networks）

1典型的seq2seq

1.1存在的一些问题

• 从模型的路径上看，encoder到实际输出有一定距离，从此限制了反向传播。
• OOV（Out-of-vocabulary未登录词 ）：摘要总结的结果有的时候并不准确，比如摘要的结果可能输出德国队以2-1比分击败阿根廷，但是实际比分是2-0，出现这个的原因是out-of-vocabulary words（OOV）的出现
• Word-repetition问题：摘要结果会出现repeat重复的信息，比如重复出现德国队击败阿根廷队

PGN（Pointer-Generator Networks）

在Encode输入查找一些本来生成OOV词的原来的词是什么

1. Pgen是一个$$[0,1]$$的系数

Coverage

尽量少生成前面已经注意过的词汇，来减少Word-repetition问题。

1. 前t-1时刻的coverage（记录前面的attention）， c t = ∑ 0 t − 1 c^t=\sum_0^{t-1}