Memory Network

最新推荐文章于 2022-02-25 20:14:01 发布
最新推荐文章于 2022-02-25 20:14:01 发布
阅读量275 收藏
点赞数
分类专栏： 自然语言处理 paper 文章标签： 循环神经网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42341984/article/details/113177357
版权

Memory Network

参考和理解

Memory Networks相关的论文和实现

深度学习和自然语言处理中的attention和memory机制

Memory Networks

Facebook AI Research
ICLR 2015
原文：https://arxiv.org/abs/1410.3916
论文总结：记忆网络之Memory Networks

memory network核心思想就是为传统的推理模型加了一个可读写的外部memory component（记忆组件）以便更好地记忆long-term memory，从而成为一个动态的知识库（类似于freebase）来为推理组件提供更完整的推理信息。论文作者将该模型用在Q&A上来对其进行详细的说明。

在这里插入图片描述

End-To-End Memory Networks

Facebook AI Research / New York University
原文：https://arxiv.org/abs/1503.08895v4
论文总结：记忆网络之End-To-End Memory Networks

这篇文章是上面一篇文章的基础之上提出来的端到端的训练方式。并提出重复的去提取有用的信息，实现多次推理的过程。
在这里插入图片描述

Ask Me Anything: Dynamic Memory Networks for Natural Language Processing（DMN）

原文：https://arxiv.org/abs/1506.07285
论文总结：记忆网络之Dynamic Memory Networks

本文提出的DMN网络模型包含输入、问题、情景记忆、回答四个模块，架构图如下所示。模型首先会计算输入和问题的向量表示，然后根据问题触发Attention机制，使用门控的方法选择出跟问题相关的输入。然后情景记忆模块会结合相关的输入和问题进行迭代生成记忆，并且生成一个答案的向量表示。最只答案模块结合该向量以及问题向量，生成最终的答案。

在这里插入图片描述

Large Memory Layers with Product Keys

NeurIPS 2019
原文：https://arxiv.org/abs/1907.05242
code：https://github.com/facebookresearch/XLM
论文总结：LeCun力荐：Facebook推出十亿参数超大容量存储器

本文介绍了一种可以轻松集成到神经网络中的结构化存储器。该存储器在设计上非常大，架构的容量显著增加，参数数量可达十亿个，而增加的计算成本基本上可忽略不计。存储器的设计和访问模式基于产品密钥，可实现快速准确的最近邻搜索。
在这里插入图片描述
memory layer 的位置：
在这里插入图片描述

Episodic Memory in Lifelong Language Learning

DeepMind
Proceedings of NeurIPS 2019
原文：https://arxiv.org/abs/1906.01076
论文总结：201906持续学习论文-终身语言学习中情节记忆

  • 问题：在持续学习中，数据分布变化时，这些模型都无法重用之前学到的知识（迁移学习中的领域适配也是在解决这个问题）
  • 方法：实现了一种情节记忆模型，可以稀疏经验回放并在本地适配时减缓灾难性遗忘。
    在这里插入图片描述

核心思想：

  • 稀疏经验回放：
    经验回放，即从记忆中随机选择样本来持久化。我们的模型会非常稀疏（注：这里的稀疏指的是训练过程中选择持久化样本的间隔）的做经验回放，通过联合新获取的知识与已经存在记忆中的知识到模型中。我们发现对于学习新样本，1%的经验回放就足够了。
  • 本地适配（重要创新点）：
    本地适配，即用基于记忆的参数适配模型，使用记忆中找回的样本更新该模型参数，然后用它来做预测。（注：相当于永远有一个基础模型，每次预测之前会复制一份该模型，用和测试样本相似的保存在记忆中的训练样本做微调，再做预测，然后丢弃该模型，只保留基础模型。）

Improving Chinese Word Segmentation with Wordhood Memory Networks

ACL 2020
原文：https://www.aclweb.org/anthology/2020.acl-main.734/
code：https://github.com/SVAIGBA/WMSeg
论文总结：中文分词SOTA模型：Wordhood Memory Networks

在这里插入图片描述

一般的模型在处理如”部分居民生活水平“这样带有歧义的句子时，往往很难在这些有歧义的字序列中间找到一个非常好的切分点。而新模型在处理这样的输入时，能够通过对”键-值记忆对“中所携带的，包含某个字的成词功能的信息进行建模——用”键-值神经网络“对这种信息加权，以达到在不同语境下，区别地利用这些信息，帮助模型性能的提升。

⭐Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision（使用键值记忆的 seq2seq 模型）

ACL 2017
原文：https://arxiv.org/abs/1611.00020
code：https://paperswithcode.com/paper/neural-symbolic-machines-learning-semantic-1#code
论文总结：[论文简介] 神经符号机：通过弱监督在 Freebase 上学习语义解析器

神经符号机：它包含

  1. 神经程序员，即一个 seq2seq 模型，使用键值记忆将语言映射到程序来处理自然语言问题的组合性；
  2. 符号计算机，即一个 Lisp 解释器来执行程序，并通过剪裁搜索空间来找到好的程序。
    在这里插入图片描述

思考

  1. 为什么需要引入memory？
    基于记忆的模型通常应用于一些特定任务中，如语言建模和阅读理解。在这些任务中，长时间保存信息应该很有用。记忆的概念是非常通用的：知识库或表可以充当记忆，而记忆也可以根据整个输入或它的特定部分填充。
  2. memory存储的对象是什么？
    • key：question
    • value：sql 的模式
  3. 怎么得到该对象？
  4. memory network/layer 应该放在什么位置？
  5. 从memory检索到的知识怎么融入模型？
二叉树不是树_ZJY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
记忆网络之End-To-End Memory Networks
呜呜哈的博客
09-26 3725
记忆网络之End-To-End Memory Networks这是Facebook AI在Memory networks之后提出的一个更加完善的模型，前文中我们已经说到，其I和G模块并未进行复杂操作，只是将原始文本进行向量化并保存，没有对输入文本进行适当的修改就直接保存为memory。而O和R模块承担了主要的任务，但是从最终的目标函数可以看出，在O和R部分都需要监督，也就是我们需要知道O选择的相关记
深度学习 - 记忆网络
qq_40671063的博客
05-15 1405
记忆网络一些方法梳理
时序模型：长短期记忆网络（LSTM）
xunyishuai5020的博客
02-25 6110
时序模型：长度记忆循环神经网络（LSTM）
基于Paddle复现论文End to End Memory Networks
m0_63642362的博客
11-14 164
MemNN是Facebook AI在提出的一个更加完善的模型，原论文在“Penn Treebank”语言数据集上的ppl为111，本项目成功复现ppl为110.75
记忆网络Memory Network
Suan2014的博客
10-15 1035
今天看的文章主要涉及记忆网络，其他并无新意，所以就懒得自己写了，直接转载容易理解的博文。 作者：北邮张博  来源：CSDN  原文：https://blog.csdn.net/irving_zhang/article/details/79094416?utm_source=copy  在本专栏的第一篇文章对话系统综述中提到，seq2seq中的记忆依靠rnnCell或者lstmCell实现，但是...
Memory Network不错的PPT
02-28
There has been a recent resurgence in interest in the use of the combination of reasoning, attention and memory for solving tasks, particularly in the field of language understanding. I will review ...
2020-CIKM-Sequential Recommender via Time-aware Attentive Memory Network.pptx
02-06
2020年CIKM会议上的研究提出了“时间感知注意力记忆网络”（Time-aware Attentive Memory Network, TAMN），旨在解决这一问题。 首先，用户的行为序列复杂多变，传统的循环神经网络如GRU（门控循环单元）和LSTM（长...
2018-Collaborative Memory Network for Recommendation Systems.pdf
06-11
2018-Collaborative Memory Network for Recommendation Systems
浅析AndroidStudio3.0最新 Android Profiler分析器(cpu memory network 分析器)
08-28
Android Profiler分为三个主要模块：CPU Profiler、Memory Profiler和Network Profiler。 **CPU Profiler** CPU Profiler是用于监测应用程序CPU使用情况和线程活动的工具，帮助开发者优化代码，提高应用性能。通过...
记忆网络（译）
编程大师的博客
10-21 938
Jason Weston, Sumit Chopra & Antoine Bordes. Facebook AI Research, 770 Broadway, New York, USA. {jase,spchopra,abordes}@fb.com 摘要 本文将介绍一种新的学习模型，称为记忆网络。记忆网络利用结合了长期记忆模块的推断组件进行推理；并学习如何联合地使用
[转] 介绍深度学习和长期记忆网络
heiyeluren的blog（黑夜路人的开源世界）
09-07 8024
机器学习和深度学习~
记忆网络之Key-Value Memory Networks
呜呜哈的博客
09-30 4185
记忆网络之Key-Value Memory Networks今天要介绍的这篇文章是Facebook在2016年6月发表的一篇文章，相比之前的两篇可以说是更加完美的将Memory Networks应用的了QA任务上。End-To-End那篇文章相比第一篇解决的强监督的问题，从而提出一种端到端的记忆网络，但仍然没有运用到QA的数据集上（虽然专栏的第三篇文章介绍了两篇使用该模型进行QA数据集训练的方法，但
RNN循环神经网络以及LSTM长短期记忆模型-简介
热门推荐
yoyofu007的博客
05-18 4万+
 写给自己的备忘内容：RNN的基础1概述Recurrentneural network，循环神经网络，在普通多层BP神经网络基础上，增加了隐藏层各单元间的横向联系，通过一个权重矩阵，可以将上一个时间序列的神经单元的值传递至当前的神经单元，从而使神经网络具备了记忆功能，对于处理有上下文联系的NLP、或者时间序列的机器学习问题，有很好的应用性。 2、特点、优点优点：模型具备记忆性。缺点：不能记忆太前或...
读论文写论文——MEMORY NETWORKS
wang735019的专栏
12-31 2945
MEMORY NETWORKS摘要作者说自己提出了一个新的学习模型叫做“memory networks”，模型将推理与“长记忆”组件相结合。使用长记忆组件，可以用其进行推理预测，作者将该模型用于问答系统QA（Question Answering）。介绍——为什么要提出这个模型作者说当前的大多数的机器学习系统，无法自由的对记忆组件进行读写。如果可以无缝的自由读写，那么将大大提高模型的预测、推理能力。比
Deep memory network 框架
guoyuhaoaaa的博客
02-27 3619
最近看论文，发现了一个新的概念“Deep memory network”，那么今天就来梳理一下这个框架的基本原理及使用场景。其实从提出的时间上来讲，这个框架一点都不新，由Weston et al 在2014提出。这个框架描述是：“A memory network consists of a memory mm and four components I,G,OI, G, O and RR, wher
端到端记忆网络（End to End Memory Network）
qq_38343151的博客
12-05 1783
本文在上文Memory Network的基础上进行端到端的模型构建,减少生成答案时需要事实依据的监督项，在实际应用中应用意义更大。 模型讲解及构建 模型的结构如下图所示。图(a)是单层的模型，图(b)是多层模型（三层）。 以图（a）为例，输入有两个部分， 使用输入集合表示上下文知识，使用输入向量q表示问题，使用输出向量表示预测答案。记忆网络模型通过对上下文集合S和问题向量q的数学变换...
TensorFlow中RNN样例代码详解
为之则易，不为则难
11-28 2万+
关于RNN的理论部分已经在上一篇文章中讲过了，本文主要讲解RNN在TensorFlow中的实现。与theano不同，TensorFlow在一个更加抽象的层次上实现了RNN单元，所以调用tensorflow的API来实现RNN是比较容易的。这里先介绍TensorFlow中与RNN相关的几个比较常用的函数，　　(1)cell = tf.nn.rnn_cell.BasicLSTMCell(num_unit
读论文end-to-end Memory Networks
u010041824的专栏
01-18 717
相关论文 《end-to-end memory networks》 《aspect level sentiment classification with deep memory network》 《entity disambiguation with memory network》 第一篇是2015年发表的关于注意力模型应用到NLP上的文章。一作是Sainbayar Sukhbaatar
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值