对话论文总结

这是NIPS2017的文章。【有开源代码，memory网络的代码，可以借鉴这篇文章】
对话系统主要分成两类：基于任务的对话系统，闲聊式的对话系统。End2end（+attention+memory）的方式，使得对话系统不需要规则，并且性能超过基于规则的方式。但是还没有文章就个性化的对话系统，展开工作。将个性化的信息+对话系统，用多任务的方式训练。
数据库：基于bAbI dialog dataset (2016)扩展 -> ParlAI framework(2017)。对话是更加simulator产生（基于KB + personality）。询问餐厅的四个属性，使用API得到目标餐馆。有5个任务，用水平线分割。在增加了一个任务：对于用户属性的判断。
任务1：关键词抓取，总共有4个属性需要确认，rot通过询问，获取所有4个属性，产生API call.
任务2：用户update API call
任务3：展示搜索结果
任务4：提供确切信息，包括地址等【增加了新的属性，根据用户属性返回相应信息】
任务5：结合任务1-4，完成对话任务

原先的rob有15种对话模型，我们增加了6种新的个性化对话模式（male/female, young/middle-aged/old）。对于6种情感属性，都有各种的vocabulary，年龄越高，单词越正式，越准确。在相同的年龄和性别间，单词也有重叠。创建有重叠的6个属性，而不是6种单独模式。
目标：基于餐馆知识库knowledge base （KB）+ personality，来订酒店
参考网页：https://github.com/chaitjo/personalized-dialog
相关工作：将说话人信息整合到seq2seq中，说话人信息是根据说话人的历史对话信息得到，比如他的tweets。但是我们的区别是：开放领域-》基于任务的对话；压缩用户信息-》自定义用户属性。
比较了3种模型：Supervised Embeddings (supervised-embedding/), Memory Networks (MemN2N/) and Memory Networks with split-memory architecure (MemN2N-modified/)
Supervised Embeddings就是比较输入和输出响应的距离。用SGD减少margin ranking loss的损失。把原先的问题转化为检索问题。
Memory Networks，把对话历史信息和用户属性保存到一个memory网络中，可以作为end-to-end baseline。用户的attention关注，可以可视化。
Split Memory Architecture，将原始memory分成两部分：profile attributes and conversation
history。

实验结果（个性化定制）：

他这是对已有的答案进行打分，而不是生成一个完整的句子。

这是Bengio拿了大奖的论文，共40页。
Related work: 人工->人工+机器->全机器，系统先用大量的数据训练，然后用于真实世界的交互， 然后机器可以从开放领域中学习相关的规则和状态。相当于一种online 更新的机制。
作者提出，ensemble-based ML system，之前很多模型都采用过。模型框图如下：

ASR confidences: 对一句话进行打分，分数太低，要求用户重新将一遍
Dialogue history: 所有之前对话的历史以及当前用户的utterance作为输入
Response model: 多种对话模型，产生候选相应集和
Has priority response: 是否有先验，For example, for the question “What is your name?”, the response “I am an Alexa Prize socialbot” is a priority response
Response selection policy: 对所有响应打分，选择分数比较高的

模型细节：
Response model: 系统中用了22种模型，简直是open-source interaction的综述。

【1】 template-based models
a) Alicebot www.alicebot.org (2009)
由template组成，同时输出confidence score，用于string-based rules判断回复是不是一个正确的句子。

b) Elizabot https://gist.github.com/bebraw/273706
从一堆模版中选择结果，采用问题的方式作为相应，促使用户进行回复
c) Initiatorbot
作为对话的发起者，例如”What did you do today?”，或者从一个fact开始，Did you know
that …?
Facts和BoWFactGenerator model中的一致。如果initiatorbot在前两轮中激活，那么就不激活了，返回“”空响应。
d) Storybot
输出short fiction story，故事是从www.english-for-students.com这里找的。
只有在用户要故事的时候，激活。

【2】 基于知识库的问答系统（KB）
a) Evibot www.evi.com
b) BoWMovies
搜索电影，各种电影的API,如果找演员，用wikipedia的api
【3】 Retrieval-based Neural Networks（基于检索的神经网络）
a) VHRED models
由多个VHRED models组成, VHRED model是一种sequence-to-sequence models with Gaussian latent variables trained as variational auto-encoders（VAE）。
首先选择K个候选相应，利用当前历史对话和数据库中历史对话，计算TF-IDF Glove（https://nlp.stanford.edu/projects/glove）word embedding相似度。选取具有最高对数似然概率的response。
不同模型关注不同的topic：
b) SkipThought Vector Models
c) Dual Encoder Models
d) Bag-of-words Retrieval Models
【4】 Retrieval-based Logistic Regression
…