Context-aware Natural Language Generation with Recurrent Neural Networks

《Context-aware Natural Language Generation with Recurrent Neural Networks》

使用循环神经网络的上下文感知自然语言生成

1.背景

传统的自然语言生成（可以理解为NMT）中，只是开始生成的时候才用到了编码时生成的向量，这篇论文主要针对该问题做出相应的改进，在后续生成过程中使用编码时生成的向量。

2.大体框架

2.1传统方式

这就是一个传统的RNN模型

2.2 C2S

C2S: Context to Sequence

相比于传统方式，C2S在刚开始翻译的时候多了一个总上下文表示的参数

2.3 gC2S

gC2S: gating of Context to Sequence (大体意思是这样)

为了继续改进模型，则需要在后面的生成过程中继续引用上下文信息，但是考虑到不是所有步骤都跟上下文有着紧密的关联，这时候就增加了一个门gate，用于评价当前步骤与上下文的关系。

3.主要公式

论文中对公式的解释不是很清楚，只要理解大体意思即可。

3.1 C2S

3.2 gC2S

论文链接：https://arxiv.org/abs/1611.09900v1