记忆网络之Gated End-to-End Memory Networks
今天要介绍的论文“gated end-to-end memory networks”时16年10月份发布的,他是在End-To-End Memory Networks这篇论文的基础上做了一些修改。因为End-To-End Memory Networks在multi-fact QA、 positional reasoning、 dialog等领域的效果还不是很好,所以本文参考CV领域中HighWay Networks和Residual Networks涉及到的shortcut connections,引入Gated机制,以实现对memory的正则化,从而让模型可以动态的修改memory。
因为End-To-End Memory Networks已经很熟悉了,所以我们先来介绍一下Highway Networks的想法,其主要是在网络输出下一层之前引入了一个transform gate T和一个carry Gated C,以让网络学习什么、多少信息应该被传到下一层。我们假设本层网络的输出为:y=H(x),那么就加入下面的映射函数:
往往我们会选择C = 1-T,所以上面的公式可以转化为:
而残差网络则可以视为是Highway网络的一种特例,因为其直接把T和C都当做I,所以就相当于y=H(x) + x。但是这里背后的原理我还没来得及搞明白,为什么这样就可以让更深的网络很容易就训练成功,等有时间再看看相关