阅读理解论文笔记
文章平均质量分 69
苏何月下追韩信丶
以梦为马
展开
-
论文《Text Understanding with the Attention Sum Reader Network》笔记
来源 1603.01547 这篇论文主要是提出了一个新模型Attention Sum Reader(AS Reader),但这篇论文的局限是不能产生不包括在doc中的answer。 模型流程: 1. 使用双向GRU/LSTM计算query的embedding表示query_emb,使用正向尾词和反向首词拼接而成 2,使用双向GRU/LSTM计算doc的embe...原创 2018-02-26 19:54:47 · 653 阅读 · 0 评论 -
word2vec基于Hierarchical softmax的模型细节
参考地址:http://www.cnblogs.com/pinard/p/7243513.html1,基于Hierarchical softmax的模型的改进点 首选回顾传统的神经网络词向量语言模型,里面一般有三层:输入层(词向量),隐藏层,输出层(softmax层)。里面最大的问题就是在于从隐藏层到输出层的softmax层的计算量太大,因为他是要计算所有词的softmax概率,然...转载 2018-04-03 16:28:25 · 3131 阅读 · 0 评论 -
论文《Distributed Representations of words and Phrase and their Compositionality》
放在开头:强推这位大神写的博客,对word2vec的原理讲的贼清楚! 博客地址1:https://www.cnblogs.com/pinard/p/7160330.html 博客地址2:http://www.cnblogs.com/pinard/p/7243513.html 博客地址3:http://www.cnblogs.com/pinard/p/7249903.html 论文...原创 2018-04-03 15:21:38 · 558 阅读 · 0 评论 -
论文《Adversarial Reading Networks For Machine Comprehension》
综述:文中描述当前阅读理解任务中受限于监督学习设置,以及可用的数据集。这篇论文主要提出关于阅读理解任务中的对抗学习以及self-play.它用一个名为reader network来找到关于text和query的答案,还用一个名为narrator network的网络来混淆text的内容,来降低reader network网络成功的可能性。然后取得了较好的效果。 文章的贡献: ...原创 2018-03-28 10:07:39 · 473 阅读 · 0 评论 -
论文笔记《End to end memory networks》
论文地址 论文代码这篇论文在简介中说是基于Memory Network而来的。 论文第一部分介绍说这相当于一个连续型的Memory Network(问号脸,后续看)。这个模型的一个特点是end-to-end,可以被训练为从输入一直到输出,比其他的模型更加的方便。不像Memory Network在每一层都需要监督信息。 模型具体操作流程如下图: 在模...原创 2018-03-23 17:19:53 · 667 阅读 · 0 评论 -
论文笔记《Gated-Attention Readers for Text Comprehension》
来源1606.01549 这篇论文提出的模型叫做GA Reader,用的是GRU,GRU中的两个门及候选状态的推理公式如下: GA Reader的实现思路为: 1,对于query首先也是用双向GRU处理,然后分别获取最后的状态concate一起。 2,对于doc也是用双向GRU处理,但是是输出每个时刻的Hidden,最后concate在一起。 ...原创 2018-03-06 14:31:01 · 1380 阅读 · 0 评论 -
阅读理解中模型结构总概
目前阅读理解领域出现了很多具体的模型,但是如果对这些模型进行技术思路梳理的话,会发现本质上大多数模型都是论文“Teaching Machines to Learn and Comprehend”提出的两个基础模型“Attentive Reader”和“Impatient Reader”的变体。 将其归纳为“一维匹配模型”、“二维匹配模型”、‘推力模型’等三类模型。其中一维匹配模型和二维...转载 2018-02-24 13:52:17 · 2720 阅读 · 0 评论 -
论文笔记:Teaching Machine to Read and Comprehend
这篇论文可以说是阅读理解领域的奠基之作。 文中最主要的收获就是,提出的三种神经网络模型 1. Deep LSTM Reader 处理过程如图,这个图是用两层的lstm来encoder document ||| query对(这个符号|||表示链接),然后再用得到的表示做分类(得到的输出y,再输入到图右g函数,来做判断)。但是这个两层的lstm我暂时的理解是用了两个lstm...原创 2018-02-01 15:35:37 · 3142 阅读 · 1 评论 -
阅读理解中对于doc和q的表示方法
一、对于doc的表示方法方法一: 最常见的一种方法是将一篇文章看成一个有序的单词流序列,如下模型所示,图中的每个圆圈代表某个单词的神经网络语义表达,图中的BiRNN代表双向RNN模型。 在这个序列上使用RNN来对文章进行建模表达,每个单词对应RNN序列中的每个时间步的输入,RNN的隐层状态代表融合了本身单词以及其上下文语义的语言编码。 这种表示方法的特点就是,它不对文章的整体语义进行编...原创 2018-02-23 09:48:16 · 287 阅读 · 0 评论 -
论文笔记《A Thorough Examination of CNN/Daliy Mail Reading Comprehension Task》
论文地址:1606.02858 首先论文的先提出了两个模型,第一个是传统的特征模型,另一个是end-to-end的神经网络模型 第一个特征模型主要是用来探索到底哪些特征对这个任务是有作用的,这个模型最终选出答案的方法如下图红圈中圈出来的。也就是对于每个entity e都产生一个fp,q(e)向量,然后用这些来计算权重,最终排序选出权重值最大的。 模型所选用的...原创 2018-02-28 11:02:18 · 1413 阅读 · 0 评论 -
word2vec中对于Negative Sampling的理解
参考地址:http://www.cnblogs.com/pinard/p/7249903.html 上一篇转载的博客详细介绍了基于Hierarchical Softmax的word2vec模型是如何产生词向量的。这篇论文则是针对那些”偏僻词”采用的用negative sampling方法产生词向量的具体步骤。1,Hierarchical Softmax对的缺点与改进 Hierarchi...转载 2018-04-04 17:20:45 · 8500 阅读 · 0 评论