《Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models》翻译

最新推荐文章于 2024-05-16 16:52:02 发布

买橘子送洗面奶

最新推荐文章于 2024-05-16 16:52:02 发布

阅读量39

点赞数

分类专栏： ChatBot 文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/Assasin_lucky/article/details/131800425

版权

ChatBot 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Abstract

我们研究了使用生成模型构建基于大型对话语料库的开放领域对话系统的任务。生成模型产生逐字自主生成的系统响应，为现实、灵活的交互开辟了可能性。为了支持这一目标，我们将最近提出的分层递归编码器-解码器神经网络扩展到对话领域，并证明该模型与最先进的神经语言模型和退避 n-gram 模型具有竞争力。我们研究了这种方法和类似方法的局限性，并展示了如何通过从更大的问答对语料库和预训练的单词嵌入中引导学习来提高其性能。

Introduction

对话系统，也称为交互式对话代理、虚拟代理，有时也称为聊天机器人，用于从技术支持服务到语言学习工具和娱乐的广泛应用(Young et al. 2013; Shawar and Atwell 2007)。对话系统可分为目标驱动系统（如技术支持服务）和非目标驱动系统（如语言学习工具或电脑游戏角色）。我们目前的工作集中在第二种情况下，因为这种类型的大型语料库的可用性，尽管该模型最终也可能被证明对目标驱动的系统有用。

也许目标驱动系统最成功的方法是将对话问题视为部分可观察的马尔可夫决策过程（POMDP）（Young et al. 2013）。不幸的是，大多数部署的对话系统都使用手工制作的功能来表示状态和动作空间，并且需要大型带注释的任务特定语料库或愿意与未完成的系统交互的大量人类主体。这不仅使它变得昂贵和部署真正的对话系统既费时，又将其使用限制在狭窄的领域。最近的工作试图推动目标驱动的系统走向学习，很少有例子使用POMDP上的约束（(Gasic et al. 2013）以及使用神经网络模型学习观察到的特征本身（Henderson，Thomson and Young 2014），但这种方法仍然需要手工制作的特征或大型带注释的任务特定模拟对话语料库。

另一方面是非目标驱动的系统(Ritter, Cherry, and Dolan 2011; Banchs and Li 2012; Ameixa et al. 2014)。最近，Sordoni等人（2015b）和尚等人（2015）从神经网络在自然语言建模和机器翻译任务中的使用中汲取了灵感（Cho et al. 2014）。开发非目标驱动的系统有几个动机。首先，它们可以直接用于那些自然不会表现出直接可衡量目标的任务（例如语言学习）或仅用于娱乐。其次，如果他们接受过与目标驱动对话系统任务相关的语料库培训（例如语料库涵盖类似主题的对话），然后这些模型可用于训练用户模拟器，然后可以训练前面讨论的POMDP模型（Young et al. 2013; Pietquin and Hastie 2013）。这将减轻构建大规模特定任务对话语料库的昂贵和耗时的任务。除此之外，从非目标驱动系统中提取的特征可用于扩展POMDP模型的状态空间表示(Singh et al. 2002)。这有助于泛化到带注释的任务特定语料库之外的对话。

我们的贡献是基于生成概率模型的端到端可训练、非目标驱动系统的方向。我们将生成对话问题定义为对对话的话语和交互结构进行建模。因此，我们将我们的模型视为一个认知系统，它必须进行自然语言理解、推理、决策和自然语言生成，以便复制或模拟训练语料库中代理的行为。我们的方法与以前通过与人类互动学习对话系统的工作不同（Young et al. 2013; Gasic et al. 2013; Cantrell et al. 2012; Mohan and Laird 2014），因为它通过人与人对话的例子离线学习，旨在模拟训练语料库中的对话，而不是最大化特定于任务的目标函数。与基于解释的学习（Mohan and Laird 2014）和基于规则的推理系统（Langley et al. 2014）相反，我们的模型不需要预定义的状态或动作空间表示。相反，这些表示直接从语料库示例中学习，以及推理机制，将对话话语映射到对话状态，以及操作生成机制，将对话状态映射到对话行为，并随机映射到响应话语。我们相信，端到端地训练这样的模型以最小化单个目标函数，并尽量减少对手工制作特征的依赖，从长远来看将产生卓越的性能。此外，我们专注于可以在大型数据集上有效训练并且能够在长时间对话中保持状态的模型。

我们尝试了成熟的递归神经网络（RNN）和n-gram模型。特别是，我们采用了分层循环编码器-解码器（HRED）（Sordoni et al. 2015a），并证明它与文献中的其他模型具有竞争力。我们扩展了模型架构以更好地适应对话任务。我们表明，通过引导从预训练词嵌入，并通过在更大的问答对（Q-A）语料库上预训练模型。为了进行实验，我们引入了基于电影脚本的MovieTriples对话数据集。