A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation 论文笔记

A Deep Ensemble Model with Slot Alignment for Sequence-to-Sequence Natural Language Generation

<<具有槽对齐的深集合模型用于序列到序列的自然语言生成>>论文阅读

摘要

自然语言生成是生成对话系统和会话代理的核心。 我们描述了一个集成的神经语言生成器，并提出了几种新的数据表示和扩充方法，在我们的模型中产生了改进的结果。 我们在餐厅，电视和笔记本电脑领域的三个数据集上测试模型，并报告我们最佳模型的客观和主观评估。 使用一系列自动度量标准以及人工评估器，我们表明我们的方法比相同数据集上的最新模型获得更好的结果。

简介

最近在个人助理（例如Cortana或Alexa）的背景下进行了大量的自然语言处理（NLP）研究。 这些会话代理的能力仍然相当有限，在各方面都有缺陷，其中最具挑战性的是能够为许多不同类型的内容产生具有人类一致性和自然性的话语。 这是自然语言生成（NLG）组件的责任。

我们的工作重点是语言生成器，其输入是结构化的意义表示（Meaning Representations）。 MR描述了单个对话行为，含有在对话期间需要传达给人类用户的关键概念。 每条信息由一个slot-value对表示，其中slot标识信息的类型，value是相应的内容。 对话行为（Dialogue Act）类型取决于对话管理器，范围从简单的，如完全没有插槽的goodbye DA再到复杂的，例如包含具有各种类型value和多个slot的inform DA（参见示例，表格1）。

自然语言生成器必须从给定的MR产生语法和语义上正确的话语。 话语应以自然和对话的方式表达MR中包含的所有信息。 在传统语言生成器体系结构中，来自MR的话语的组合在两个阶段中执行：句子规划(sentence planning)，其加强语义正确性并确定话语的结构，以及表面实现(surface planning)，其强化语法正确性并产生最终的话语形式。

关于统计NLG方法的早期工作通常是手工制作组件的混合和统计训练方法。 然而，手工制造的方面导致可移植性降低并且可能限制输出的可变性。 出现了新的基于语料库的方法，这些方法使用语义对齐的数据来训练直接从其MR输出话语的语言模型（Mairesse等，2010; Mairesse和Young，2014）。 对齐在训练期间提供有价值的信息，但语义注释是昂贵的。

最新的方法不需要对齐数据，并使用端到端的方法进行培训，同时进行句子规划和表面实现（Konstas和Lapata，2013）。 在未对齐数据上训练的最成功的系统使用递归神经网络（RNN）与编码器 - 解码器系统设计（Mei et al。，2016），以及其他概念，如模仿学习（Lampouras和Vlachos，2016）。 然而，由于缺乏语义对齐，这些NLG模型通常需要更多的数据用于训练，并且它们仍然存在产生语法和语义正确输出以及自然受限的问题（Nayak等，2017）。

在这里，我们提出了一个神经网络集成自然语言生成器，我们在餐厅，电视和笔记本电脑领域的三个大型未对齐数据集上进行训练和测试。 我们探索了表示MR输入的新方法，包括用于对slots及其values进行去词语化的新方法，自动插槽对齐(automatic slot alignment)以及语义重新排列(semantic reranker)的使用。 我们使用自动评估指标来表明这些方法明显改善了我们模型的性能。 最后，在通过风格数据选择扩充我们的模型之后，主