Neural Data-to-Text Generation with Dynamic Content Planning

Introduction

神经data-to-text生成模型近年不断发展，但这些模型有两个缺点：loss information and inconsistent。为了减轻这些问题，我们提出neural data-to-text generation model with Dynamic content Planning（NDP）.NDP可以根据之前生成的文本,从结构化数据中动态选择合适的输入。我们进一步设计了reconstruction机制及objective函数，顺序重构输入数据。

NCP中，内容选择和规划是独立于文本生成的，而理想的工作应该是在生成文本的过程中进行选择。我们的工作旨在使模型利用dynamic planning 机制，动态从给出结构化数据中动态生成内容。近期的工作都在于encoder部分提高内容选择的能力，decoder部分缺少深入调查。设计重构机制可以鼓励decoder从encoder部分获取更多信息。

contribution：

提出动态内容规划机制，充分利用已经生成的文本和数据本身的重要性来决定下一步该输出哪个数据。
为了确保decoder生成text尽可能精确，我们设计了record reconstruction mechanism with a objective function
构建Neural data-to-text generation model with Dynamic content Planning mechanism,实验显示NDP比NCP大多数情况下都优秀。

Static Content Planning

生成的文本定义为 Y =(y1, …, yT ) from a given structured data D. 不同任务中，D的格式不同。我们将NBA比赛报道生成作为任务，D是包含许多record的统计表。





由四部分组成
Static Content Planning
Dynamic Content Planning：根据当前状态决定哪个record在生成接下来的词汇中更重要 （通过添加权重进行修改）
Text Decoder：利用attention和copy mechanism从动态内容计划表示中顺序生成词汇
Record Reconstruction：仅在训练阶段使用，鼓励decoder从动态内容规划表示中生成更加精准的信息

Future work

根据实例显示，会产生一些错误，在于缺少背景知识。之后的工作会着重强调引入背景知识的重要性。