本文介绍了自然语言处理中处理OOV问题的CopyNet模型和Pointer-Generator Networks。CopyNet通过generate-mode和copy-mode解决OOV问题，而Pointer-Generator Networks结合了seq2seq和Pointer Network，具备生成与复制的能力。
1. OOV
摘要总结的结果有的时候并不准确，比如摘要的结果可能输出德国队以2-1比分击败阿根廷，但是实际比分是2-0。出现这种情况的原因是字典中没有2-0，即out-of-vocabulary words（OOV）。
2. CopyNet
CopyNet的模型可以分成左侧和右侧两个部分，左侧是一个对话模型，其实也是传统的翻译模型，由 encoder 和 decoder 两个模块构成。CopyNet有一个由概率建模的generate-mode和copy-mode。由于copy-mode的加入，decoder可以将输入直接复制过来，使用OOV的词。
3. Pointer-Generator Networks
原文中的Pointer-Generator Networks是一个混合了 Baseline seq2seq和PointerNetwork的网络，它具有Baseline seq2seq的生成能力和PointerNetwork的Copy能力。
从Baseline seq2seq的模型结构计算 p g e n p_{gen} pgen
p g e n = σ ( w h ∗ T h t ∗ + w s T s t + w x T x t + b p t r ) p_{gen}=\sigma(w^T_{h^*} h^*_t+w^T_s s_t+w^T_x x_t+b_{ptr}) pgen=σ(wh
最低0.47元/天 解锁文章
扫一扫
1150
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
