[NLG]A Working Memory Model for Task-oriented Dialog Response Generation

总述：

memNN常用于在对话中引入KB的知识，然而之前的工作大多数把dialogue history和KB的memory混在一起，作者借鉴了心理学的研究。有个work memory（类似于电脑内存的感觉）可以和两个记忆做交互，一个知识记忆（semantic memory），一个历史记忆（episodic memory）.然后作者就设计了一个模型，将对话历史作为历史记忆，将KB结构化知识作为知识记忆，用一个working memory模块和他们交互，并且生成下一个词的时候，从三个分布中选取。在BABI数据集上达到了比较好的效果。

模型：

这个模型是建立在memNN的基础上的，可以先了解一下memNN的基本原理会更好。或者读一下mem2seq。

简单介绍一下：和seqtoseq模型一样，左边是一个encoder，右边是一个decoder，不过需要加上两个长期的memory：从对话历史中得到的E-memNN和从KB中得到的S-memNN，这两个NN分别可以得到两个vocab的分布概率。

他的最主要的的模块就是Working Memory，其中包含两个部分，一个类似于电脑的CPU，也就是所谓的Central-exe，这个部分就是提供question与两个额外的mem做交互。然后一个STS模块就是生成下一个词的策略，现在有三个选择，要么从两个mem中copy，要么更具encoder的hidden来生成。

encoder部分的话：为了解决如何把history作为memNN的输入，作者用了一个双向的GRU来融合文本信息，这个在ablation study的时候还特意提到了，效果很好。

具体模型的细节（好像也没给代码）搞懂的意义不大，总而言之亮点就在于把history和kb分开做memory。

一句话总结：

依据心理学上的观点，将对话历史作为episodic memory，将外部知识库作为semantic memory，并且设计了一个working memory来和两个外部mem进行交互，是dialoue融合mem的一种新的尝试，达到了很好的效果。

ps：

怎么说呢，这种仿生膜改模型的文章，感觉就是不太靠谱。不过确实很新颖