对话系统文献综述

版权声明:本文为王小草原创文章,要转载请先联系本人哦 https://blog.csdn.net/sinat_33761963/article/details/79011160

一、简介

论文:https://arxiv.org/pdf/1711.01731.pdf
该论文对对话系统进行了综述,并讨论了今后可能的研究方向。

目前的对话系统大致被分成两类:

1 任务导向的对话系统

任务为导向的对话系统是帮助用户去完成特定任务,比如找商品,订住宿,订餐厅等。实现任务为导向的对话系统,主要有两类方式:

1) Pipeline method

通过4个步骤去完成对话任务

2)End-to-End method。

端到端地完成对话任务

2 非任务导向的对话系统

非任务导向的对话系统是与用户进行互动并提供回答,简单的说,就是在开放领域的闲聊。实现非任务导向对话系统也主要可分为两类:

1) generative method

生成式对话

2)retrived-based method

答案选择式对话

文章就以上两类对话系统,以及各自的实现方法进行详细综述与讲解。

二、任务导向的对话系统

1 Pipeline method

Pipeline method的步骤可以分为4个,过程如下图所示,分别是自然语言理解–>对话状态跟踪–>策略学习–>自然语言生成
image_1d07b0ete1in01gue1t61r9q3i2p.png-43.7kB

1.自然语言理解 Natrual Language Understanding(NLU)

目标:将用户的输入语句转化为预先设定好的语义槽(semantic slot)

先来个例子:
在任务型对话系统中用户想要查酒店信息,于是说出一个句子:“show restaurant at New York tomorrow.”
理解这个句子需要两个步骤:
(1)首先要判断用户是需要订酒店,而不是订机票,买东西,查快递,那么这属于一个分类问题,即识别用户意图类别
(2)查酒店类别会有与之相对应的预先设定好语义槽(semantic slot),如New York是location的slot value.填充槽值的过程即在句中做词信息的抽取。

以上两步也可分别称作意图识别(intent detection)与槽填充(slot filling):

意图识别: 是分类问题,将用户发出的语句分类到预先设定好的意图类别中。简而言之,其实就是短文本的分类,最近一般都使用深度学习来做分类。

  • 深度学习在意图识别中的应用:
    “Use of kernel deep convex networks and end-to-end learning for spoken language understanding.(2012)”
    “Towards deeper understanding: Deep convex networks for se- mantic utterance classification.(2012)”
    “Zero- shot learning and clustering for semantic utterance classification using deep learning(2014)”
    其中,使用卷积神经网络来抽取查询语句的向量表征(vector representations):
    “Query intent detection using convolutional neural networks(2016)”

**槽填充:**是序列标注问题,为句子中的每个词打上语义标签。输入是由一组序列的词组成的句子,输出是该组序列的词及词对应的语义类别(slot/concept ID)。可以类比中文分词,词性标注等问题。因此传统的做法有HMM,CRF等。最近效果较好的是DBN,RNN去做序列标注

  • 使用了deep belief networ(DBNs),取得优于CRF baseline的效果:
    “Use of kernel deep convex networks and end-to-end learning for spoken language understanding.(2012)”
    “Deep belief network based semantic taggers for spoken language understanding.(2013)”
    [17]和[15]使用了deep belief networ(DBNs),

  • 使用了RNN
    “Investigation of recurrent-neural-network architectures and learning methods for spoken language understanding.(2013)”
    “Recurrent neural networks for language understanding.(2013)”
    “Spoken language understanding using long short-term memory neural networks.(2014)”

2.Dialogue State Tracking

根据对话历史管理每一轮对话的输入,并且预测当前对话的状态。对话状态Ht表示到时间t为止对话的表征(也叫做slot或semantic frame)。对话状态的跟踪主要有3个方面:the user’s goal, the user’s action, the dialogue history.

  • 传统的方式:是使用手工做的规则来选择最可能的结果。但是错误率高。

  • 基于统计的方式:

    • 会对每轮对话都计算对每个state的概率分布。
      “The hidden information state model: A practical framework for pomdp- based spoken dialogue management(2010)”
    • 对每轮对话的每个slot都计算概率分布
      “A belief tracking challenge task for spoken dialog systems.(2012)”
      “The dialog state tracking challenge.(2013)”
    • 也有用手工规则的
      “A simple and generic belief tracking mechanism for the dialog state tracking chal- lenge: On the believability of observed information(2013)”
    • 用CRF
      “Recipe for building robust spoken dialog state trackers: Dialog state tracking challenge system description(2013)”
      “Structured discriminative model for dialog state tracking(2013)”
      “Dialog state tracking using conditional random fields(2013)”
    • 用最大熵模型
      “Multi-domain learning and generalization in dialog state tracking.(2013)”
    • 用基于网络的排序
      “Web-style ranking and slu combina- tion for dialog state tracking(2014)”
  • 基于深度学习:

    • 深度学习在信念跟踪上的应用(可以跨领域应用)。
      “Deep neu- ral network approach for the dialog state tracking challenge(2013)”
    • 多领域RNN对话跟踪
      “Multi-domain dialog state tracking using recurrent neural networks(2015)”
    • 利用神经信念跟踪NBT检测每个slot pair
      “Neural belief tracker: Data-driven dialogue state tracking.(2017)”

3.Policay learning

根据当前对话状态做出下一步的反应。举个例子,在线上购物的场景中,若上一步识别出来的对话状态是“Recommendation",那么这一步骤就会给出对应推荐的action,即从数据库中获取商品。

  • 监督学习:
    • 首先一个rule-based agent用来做热启动,然后监督学习会在根据rule生成的action上进行:
      “Building task-oriented dialogue systems for on- line shopping”
  • 强化学习:
    • “Strategic dialogue management via deep reinforcement learning.(2015)”

4.Natural language generation(NLG)

将Policy learning给出的反应转换成相应的自然语言形式的回答提供给用户。一个好的回答生成器应具备4个特点:adequacy, fluent,readability and variation[78].

传统的方法[90;79]:使用sentence planning,将输入的语义特征转换成中间形式(比如树状或模版形式),然后再通过surface realization将中间形式转换成最终的回答。
深度学习的方法:[94;95]介绍了NN于LSTM结合的结构,类似于RNNLM;[94]使用前向RNN生成器,以及CNN和backwards RNN的reranker,所有子模型进行联合优化;[95;83]新增一个control celll来gate the dialogue act;[96]将前者在multiple-domain上改进于应用;[123]使用encode-decode LSTM-based,并结合了attention machanism;[20]使用sequence-to-sequence 方法。

2 end-to-end methods

特点:使用单个模型;可于外部的结构数据库进行交互

  • 使用基于网络的端到端的可训练的对话系统。将对话系统的问题转换为学习一个映射(从历史对话–>回答)。但是,其需要大量训练数据并且缺少鲁棒性。

    • *"A network-based end-to-end trainable task-oriented dialogue system(2017)”
    • “end-to-end goal-oriented dialog(2017)”*
  • 使用end-to-end 强化学习方法,联合训练对话跟踪于策略学习,但是也存在缺陷:不可微+无法获取语义不确定性。

    • “Towards end-to-end learn- ing for dialog state tracking and management us- ing deep reinforcement learning.(2016)”
  • 基于memory network,使用RNN+可微分attention

  • “Key-value retrieval networks for task-oriented dialogue(2017)”

三、非任务型对话

非任务型对话主流有两类:生成式对话和抽取式对话。

1 Neural generative models

Neural generative models主要是依赖于sequence to sequence的模型。但光建立一个序列模型还远远不够,一个好的对话系统还需要考虑:
(1)历史对话对当前对话的影响
(2)回答的多样性
(3)针对不同领域与用户个性提供不同的回答
(4)基于外部的知识库去做回答
(5)内部学习与评估(两个对话机器人互相对话作为训练)

1.Dialogue context

  • 将历史对话的内容转换成词或短语向量的表征作为序列模型的特征
  • 建立一个层级结构的attention机制去找出重要的历史语句
  • 根据相关性去找出与问句最相关的context作为特征

2.Reponse Diversity

  • 调整目标函数:使用maximum mutual information作为最优化目标
  • 使用IDF去评估回答的多样性
  • 调整beam search,使得输出多样回答
  • 加入re-ranking步骤
  • 增加输入信息的多样性
  • 加入latent variable

3.Topic and personality

  • 先用主题模型LDA去生成主题,将主题信息作为特征输入对话模型
  • 将用户对话做领域的分类
  • 加入emotional embedding到生成模型中
  • 加入profile的信息
  • 强化学习

4.Outside knowledge base

  • 使用memory network使对话系统与知识库做交互
  • 将知识库中的词语模型生成的词做结合

5.Evaluation

如何评价产生对话的好坏呢?

  • word overlap metrics:BLEU,METEOR,ROUGE
  • 利用两个RNN来做评估
  • 将context,the true response and candidate response表征成向量计算向量之间的相似性来评估
  • 图灵测试
  • adversarial evaluation model

2 Retrieval-based method

Retrieval-based method是从候选答案中选出一个答案作为回答。主要有两个应用领域:
(1)单轮对话
(2)多轮对话

3 Hybrid methods

将以上生成式对话和抽取式对话结合起来,先从通过抽取模型抽取出答案,再将答案放到RNN中去生成回答。

其他很赞的博文: https://blog.csdn.net/Irving_zhang/article/details/78865708

对话系统是一个很大的领域,涉及了不限于NLP的方方面面,让机器拥有人类的对话能力姑且任重道远,探索之路也辛且艰,因此这方面的学习也需要从面到点,单个击破,之后我会将对话系统的学习和实践做好博客的记录,欢迎大家一起讨论。

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试