Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems（阅读理解）

大多数的NLG（Natural language generation）系统都使用规则和启发式，并且倾向于在没有人类语言的自然变化的情况下产生单一风格，本文提出了一种基于语义控制的长短时记忆网络(LSTM)的统计NLG。它可以通过使用简单的交叉熵训练准则，在没有任何启发式的情况下，通过联合优化其句子规划和表面实现组件来学习未对齐的数据，并通过随机抽取网络输出来获得高质量的语言变异。

本文的突出贡献在于引入关键词，传统的算法例如LSTM，Seq2Seq等都没有关键词控制，都是通过随机变量为输入，由网络自动生成后续数据。

本文的核心点在于改进LSTM网络，引入了DA（dialogue act）机制，加入了关键词。关键词的表示形式为one-hot编码，编码的长度为关键词表长度，其中0表示该关键词不表达，1表示输入该关键词。DA单元扮演了句子规划的角色，因为它在生成过程中能够精确编码输入信息的表面实现。DA单元决定为将来的时间步骤保留哪些信息，并丢弃其他信息

如图所示，在LSTM的数学公式表达里面，通过引入DA单元，ct的表达式增加了一项，这一项直接影响了整个生成句子的规划。