记忆网络之Gated End-To-End Memory Networks

记忆网络之Gated End-to-End Memory Networks

今天要介绍的论文“gated end-to-end memory networks”时16年10月份发布的，他是在End-To-End Memory Networks这篇论文的基础上做了一些修改。因为End-To-End Memory Networks在multi-fact QA、 positional reasoning、 dialog等领域的效果还不是很好，所以本文参考CV领域中HighWay Networks和Residual Networks涉及到的shortcut connections，引入Gated机制，以实现对memory的正则化，从而让模型可以动态的修改memory。

因为End-To-End Memory Networks已经很熟悉了，所以我们先来介绍一下Highway Networks的想法，其主要是在网络输出下一层之前引入了一个transform gate T和一个carry Gated C，以让网络学习什么、多少信息应该被传到下一层。我们假设本层网络的输出为：y=H(x)，那么就加入下面的映射函数：

往往我们会选择C = 1-T，所以上面的公式可以转化为：

而残差网络则可以视为是Highway网络的一种特例，因为其直接把T和C都当做I，所以就相当于y=H(x) + x。但是这里背后的原理我还没来得及搞明白，为什么这样就可以让更深的网络很容易就训练成功，等有时间再看看相关