Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module读书笔记

发表于ACL2018

利用Memory Network（MemNN）结合Relation Network（RN）进行推理。MemNN缺乏推理能力，RN时间复杂度为O(n^2)。本文通过结合两者，把时间复杂度降到线性的同时保留了RN的推理能力。

模型：

以Text QA为例，解释模型组成。

Input Module

    对Text每个句子用GRU建模得到向量，存储到Short term Storage中。Question同样表征成向量。

Attentional Controller

    根据Query(初始是Question表征向量，后面可以是上一个hop输出)计算attention，采用了Multi-head attention，得到working memory。可以设计多个hop（H个），得到H个working memory

Reasoning Module

    把所有working memory作为输入，传入RN中，即两两作为pair和question通过NN得到表征再全部求和，最后经过NN输出最终向量，用于分类。