Data2Text文本生成演化之路

最近看了很多这方面的论文，尝试做个总结。

早期发展路线

早期的文本生成系统多是基于规则的，Reiter等对规则系统进行了归纳总结【1】，认为文本生成系统可以分为三个较为独立的模块：（1）内容规划（Content planning），即选择描述哪些数据记录或数据域；（2）句子规划（Sentence planning），即决定所选择的数据记录或数据域在句子中的顺序；（3）句子实现（Surface realization），即基于句子规划的结果生成实际的文本。可以认为，内容规划主要是解决“说什么”，而句子规划和句子实现主要是解决“怎么说”。

在该框架下，针对不同模块，若干基于统计的模型被提出。Barzilay等提出先将数据记录和句子进行对齐，然后学习模型解决内容选择【2】。Percy Liang等提出了一个概率图模型同时解决内容规划和句子实现【3】。具体来说就是该生成模型首先选择生成哪些数据记录，然后选择生成数据记录中的哪些数据域，最后生成描述数据域的文本。

近几年，随着深度学习方法在自然语言处理领域取得突破，研究人员也尝试将神经网络的方法应用于文本生成。基于神经网络的方法又分为基于神经语言模型（Neural Language Model）的方法和基于神经机器翻译（Neural Machine Translation）的方法。

其中，Wen等提出了Semantic Controlled LSTM（Long Short-term Memory）模型用于对话系统中的文本生成【4】。该模型在标准LSTM的基础上引入了一个控制门读取结构化数据信息，并控制结构化数据信息在语言模型中的输出。该论文获得了2015年EMNLP会议的最佳论文。Kiddon等提出了神经清单模型（Neural Checklist Model），用于解决RNN（Recurrent neural networks）模型对结构化数据中的信息重复生成的问题【5】。Kiddon等将该模型应用于菜谱的生成，即输入菜名以及食材清单，机器输出相应的菜谱。基于结构化数据的文本生成存在数据稀疏的问题，即结构化数据中的许多数据值（实体名、数值等）出现次数非常少，使得模型的学习变的困难。Lebret等将拷贝动作（copy-action）引入神经语言模型，用于解决数据稀疏的问题【6】。Lebret等将该模型应用于维基百科的人物传记生成，即输入人物的信息框（Infobox），机器根据信息框中的人物信息，输出人物的