【论文泛读】A Generative Model for Joint Natural Language Understanding and Generation

论文翻译
作者：Bo-Hsiang Tseng, Jianpeng Cheng, Yimai Fang and David Vandyke

摘要：

自然语言理解 和 自然语言生成 是构建任务型对话系统的两个基础而相关的工作，但两者处理的过程相反。NLU将自然语言转化为形式化的表达，而NLG则做相反的转换。在这两项任务上，成功的关键都是平行的训练数据，但要获得大规模的数据的成本相当昂贵。

1. 提出了使用共享的隐变量将 NLU 和 NLG 融合起来的生成模型。
2. 探索自然语言以及形式化表达的空间，并通过隐空间增强信息共享并最终优化 NLU 和 NLG。
3. 模型使用平面以及树结构的表示在两个对话数据集上取得了 SOTA 。
4. 作者还表明，能够通过半监督的方式利用未标记的数据来提高模型的性能。

Introduction

作者认为之前的工作，大部分将NLU和NLG被拆成不同的问题进行研究，而研究两者之间的联系却很少。作者觉得，从本质上来说，可以将两者都看成是一个翻译问题：NLU将自然语言翻译成形式化的语言，而NLG则反过来。两种任务都需要大量的utterance（对话）及其表示才能成功，但这种数据因为注释的复杂性而变得很昂贵。 尽管可以很容易地获取自然语言或形式表示的未注释数据，但由于两种语言在不同的空间中的位置，如何利用它们仍不清楚（？没看懂什么意思）。
提出了一个生成模型JUG,使用共享的隐变量表示自然语言和形式化表示共享的意图，以此来结合NLU和NLG。作者旨在通过一个连续的隐变量来学习两个离散空间之间的关联，该变量有利于两个任务之间的信息共享。JUG可以使用半监督的方式训练，以此来探索无标签数据的信息。

作者在两个数据集上进行了实验，实验结果表明该模型的效果超过单独的 NLU/NLG 模型表现；并且可以通过未标注的数据进一步提升模型表现。

名词解释：

1. SOTA model：State-Of-The-Art model，是指在该项研究任务中，对比该领域的其他模型，这个是目前最好/最先进的模型。
2. SOTA result：State-Of-The-Art result，一般是说在该领域的研究任务中，此paper的结果对比已经存在的模型及实现结果，此Paper的模型具有最好的性能/结果。
3. 自然语言理解（NLU）：意图识别和实体提取，负责理解文本内容自然语言理解 – NLU
4. 自然语言生成（NLG）：负责根据信息生成文本内容NLP之NLG入门理解