论文笔记
文章平均质量分 76
闰土不用叉
这个作者很懒,什么都没留下…
展开
-
【论文笔记02】Text Understanding with the Attention Sum Reader Network
1 问题及数据集1.1 问题给定较长一段话的context和一个较短的问题,以及一些candidate answers,训练出可以准确预测正确答案的模型,本模型主要针对命名实体和常用名词这两种词性的单词进行填空。1.2数据集(1)CNN&Daily Mail(2)CBT2 已有方法(1)Attentive and Impatient Readers(2)Attentive...原创 2018-10-13 09:37:05 · 724 阅读 · 2 评论 -
【论文笔记13】Attention-over-Attention Neural Networks for Reading Comprehension
本文主要介绍AoA reader 的模型结构,由论文《Attention-over-Attention Neural Networks for Reading Comprehension》提出,论文直通车1 论文概述该论文针对机器阅读理解任务,提出了AoA reader模型,在CNN/Daily Mail 和CBT数据集上取得了不错的效果。2 模型细节模型的结构图如上图所示,主要包含了以...原创 2019-04-02 15:56:56 · 578 阅读 · 0 评论 -
【论文笔记12】Iterative Alternating Neural Attention for Machine Reading
1 《Iterative Alternating Neural Attention for Machine Reading》(1)论文创新点这个模型的文章和问题在真正使用时,都是根据前一时刻的隐层状态,动态的表示成一个向量;在更新状态时,使用了gated机制(虽然看起来有点复杂)。(2)论文模型模型的整体结构图如下所示:接下来将对该模型上的组成部分做简单的介绍。bidirect...原创 2019-03-30 21:42:48 · 489 阅读 · 0 评论 -
【论文笔记11】TRACKING THE WORLD STATE WITH RECURRENT ENTITY NETWORKS
这个模型也就是前面提到的动态记忆,这篇论文来自ICLR2017,论文比笔记还是参考了北邮的两位大佬的博客,后面给出了原博客地址。论文提出了一种新的动态记忆网络,使用固定长度的记忆单元来存储世界上的实体,每个记忆单元对应一个实体,主要存储该实体相关的属性(如一个人拿了什么东西,在哪里,跟谁等等),并且该记忆会随着输入内容实时更新。多个记忆槽之间相互独立,由(key,value)组成。key用来标识...原创 2018-12-12 17:29:12 · 483 阅读 · 0 评论 -
【论文笔记10】Key-Value Memory Networks for Directly Reading Documents
上个月看了Facebook的记忆网络系列,前面的两篇论文的笔记看完就整理了,后面这几篇就耽误了,最近又看了一遍,于是及时整理,不然又忘了。这篇文章主要参考北邮的两位大佬(北邮张博、知乎-呜呜哈)的文章,这两个大佬是真的厉害Orz,他们的文章我在最后面贴出了链接。为了自己更好的理解,部分地方我进行了细化,也有些地方进行了省略。1 模型结构这是来自ACL2016的论文,它修改基本的端到端结构,使其...原创 2018-12-12 16:31:15 · 2780 阅读 · 0 评论 -
【论文笔记08】Dynamic Entity Representation with Max-pooling Improves Machine Reading
本文模型之前的模型都是用一个静态的向量来表示一个entity,与上下文没有关系。而本文最大的贡献在于提出了一种动态表示entity的模型,根据不同的上下文对同样的entity有不同的表示。模型还是采用双向LSTM来构建,这时实体表示由四部分构成,包括两个方向上的隐层状态,,以及该实体所在句子的最后隐层状态,也就是该实体所在的上下文表示。如图所示。问题向量的计算与动态实体计算过程类似,这里需要填...原创 2018-11-17 21:25:44 · 390 阅读 · 0 评论 -
【论文笔记07】End-To-End Memory Networks
1 背景(1)在记忆网络中,主要由4个模块组成:I、G、O、R,前面也提到I和G模块其实并没有进行多复杂的操作,只是将原始文本进行向量表示后直接存储在记忆槽中。而主要工作集中在O和R模块,O用来选择与问题相关的记忆,R用来回答,而这两部分都需要监督,也就是需要知道O模块中选择的记忆是否正确,R生成的答案是否正确,这种模型多处需要监督,而且不太容易使用常见的BP算法进行训练,这就限制了模型的推广。...原创 2018-11-17 20:30:59 · 385 阅读 · 0 评论 -
【论文笔记09】Teaching Machines to Read and Comprehend
本文主要做出了两个大的贡献:给出了阅读理解数据集的构造方法,并开源了两个阅读理解数据集;提出了三种神经网络模型作为baseline,以方便后面的研究者进行相关的研究。1 数据构造主要是从新闻网站中抓取新闻作为文章,新闻的摘要去掉一个实体词成为query,被去掉的单词作为答案。为了防止模型对训练数据的过度依赖,于是将文章和问题中的实体进行匿名化和随机替换。具体见官方教程2 三种神经网络...原创 2018-11-19 20:10:27 · 456 阅读 · 0 评论 -
【论文笔记06】Memory Network
1 问题和解决办法(1)问题当遇到有若干个句子并且句子之间有联系的时候,RNN和LSTM就不能很好地解决;对于句子间的这种长期依赖,于是需要从记忆中提取信息;(2)解决办法本文提出了实现长期记忆的框架,实现了如何从长期记忆中读取和写入,此外还加入了推理功能;在QA问题中,长期记忆是很重要的,充当知识库的作用,从其中获取长期记忆来回答问题。2 模型框架(1)模型由4个模块...原创 2018-11-02 16:59:22 · 483 阅读 · 0 评论 -
【论文笔记05】WORDS OR CHARACTERS? FINE-GRAINED GATING FOR READING COMPREHENSION
1 问题和数据集1.1 问题这是一篇以阅读理解为任务的文章,但在具体处理这个任务时,主要解决数据特征等的表示问题。在提取文本特征时,通常只对单词做词嵌入,而忽略了字符级的特征。1.2 数据集CBTWDWSQuAD2 目前已有方法2.1 单词级表示(1)from a lookup table(2)每个单词用一个向量表示(3) 擅长表示单词的语义2.2 字符级表...原创 2018-10-22 20:03:33 · 440 阅读 · 0 评论 -
【论文笔记04】TriviaQA_A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
1 论文主要内容本文是一篇资源论文,主要发布了用于检索式问答或阅读理解的数据集Trivia QA;对该数据集的质量和数量进行了分析,并创建了baseline,用于具体评估数据集的质量。2 Trivia QA数据集的特点问题比较复杂在问题和相应的答案句子中有大量的句法或词汇变化需要更多的跨句推理来得到答案3 本文的主要贡献发布了一个阅读理解数据集提出了分析量化数据集...原创 2018-10-22 15:47:35 · 2963 阅读 · 0 评论 -
深度学习中的注意力机制
最近读到论文《Attention Is All You Need》,在网上也查了很多资料,然后又对这篇论文重新理解了下,收获颇多。在这过程中,发现一篇很好的文章,来自张俊林博士的深度学习中的注意力机制(2017版)。强烈推荐,难得的好文。如果要想理解注意力机制的思想,看这篇文章绝对够了。原链接:https://blog.csdn.net/malefactor/article/details/78...转载 2018-10-18 19:21:59 · 664 阅读 · 0 评论 -
【论文笔记01】Phrase-Based & Neural Unsupervised Machine Translation
这篇论文来源于EMNLP2018,论文地址,这次采用了思维导图的方式记录笔记,思维导图的缩略图如下:缩略图有些模糊,于是我上传服务器了,可以直接点击查看。导图地址...原创 2018-10-08 20:05:54 · 1564 阅读 · 0 评论 -
【论文笔记03】ReasoNet: Learning to Stop Reading in Machine Comprehension
1 问题及数据集1.1 问题本论文主要解决一种面向Cloze-style(填空式)的阅读理解(问答)问题1.2 数据集(1)CNN&Daily Mail(2)SQuAD(3)Graph Reachability datase2 已有方法2.1 单轮推理(1)特点单轮推理模型主要利用注意力机制来强调文档中与问题相关的那些部分,计算问题和文档子单元的相应加权表示之...原创 2018-10-13 20:27:03 · 1233 阅读 · 2 评论 -
【论文笔记14】Gated-Attention Readers for Text Comprehension
本文主要介绍GA reader模型的基本思想,由论文《Gated-Attention Readers for Text Comprehension》提出,论文直通车1 论文概述本篇论文的思想其实是很简单的,可以把其看成是AS reader模型的扩展,尽管模型简单,但是也取得了不错的成绩,也证明了乘法操作机制带来的效果显著。值得一提的是,论文中的相关工作部分,对之前的模型进行了分门别类的概述,这...原创 2019-04-03 14:27:56 · 503 阅读 · 2 评论