End to end Memory Networks with Knowledge Carryover for Multi-Turn Sporken Language Understanding

摘要

这是一篇讲述在利用端到端记忆网络做多轮次的口语语言理解的论文。里面提及利用多轮次的信息主要有两个挑战：1、上X轮的错误有可能会传送到后面的轮次。2、上X论的信息可能会忘记。本文采用对对话和对应的意图以及槽信息都编码为记忆，然后用注意力机制进行解码，利用储存的语义同时应用在意图分类和槽信息填充的任务中。在微软小娜的数据集上比单轮的rnn有更加的效果。

小评

用编码的方式实现对多轮次的对话信息的保存是一个今年比较常用的方法，而且这种方法的网络结构相对简单，符合奥卡姆剃刀原理。但是使用的是非公开数据集。有不同的结构的比较但是没有将研究进展重现在私有数据集中不得不说有点遗憾。我还是比较想看到他这种模型和Yang的双向LSTM的网络进行对比，两者都是对多伦茨的对话进行了处理，Yang的网络跑起来太费劲了。