End-to-End Memory Network

1 篇文章 0 订阅
1 篇文章 0 订阅

Introduction

构建一个能在回答一个问题或者完成一个任务总执行多个计算步骤,并且能够描述序列数据的长程依赖的模型,是人工智能的两大挑战。

最近,许多使用显示存储注意力机制的计算模型热门起来了,通过操作这样一个存储提供了一个解决这两个挑战的方法。在[23,8,2]中,存储被赋予了一个连续表示;通过神经网络的动作来对存储的读写或者其他处理步骤进行建模。

这个新颖的RNN结构,它能在输出一个符号之前能够循环的从一个相当大的外部Memory(记忆,存储)读出多次。可以认为是在[23]中实现的Memory Network的一个连续形式。然而[23]中的网络很难有反向传播训练,并且网络每一层都需要监督。但是这篇文章提出的MemN2N的连续性使得它能够采用end-to-end的方式训练input-output pairs,能适用更多的任务;比如监督不可用的任务,例如在语言模型或者实际监督的问答任务。当然这个模型也可以看成有单个输出有多个计算步骤(hops)的RNNsearch的一个版本。论文通过实验展现了在长期记忆上的多计算步(Multi-hops)对模型有良好性能至关重要的,Memory representation的训练是一种可扩展的方式被注入这个end-to-end的神经网路模型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值