NLP
「已注销」
遇见更好的自己
展开
-
Denoising Distantly Supervised Open-Domain Question Answering读书笔记
发表于ACL2018解决的问题: DS-QA中的noise问题:许多包含答案但其实无关的段落。以往方法采用先选取一个最有可能的段落,再从中抽取答案。这样会损失信息。有人采取了Re-ranking机制,但仍依赖原有DS-QA system。本文采用从粗到细的方法,先利用IE抽一部分段落,再快速筛选出可能性高的段落,再从中选取答案。 采用的方法: 对于IE之后的段落,采...原创 2019-01-24 20:13:03 · 303 阅读 · 0 评论 -
Multi-Granularity Hierarchical Attention Fusion Networks for RCQA读书笔记
发表于ACL2018阿里在SQuAD数据集首次在EM指标上超过人类平均水平的工作模型: glove+ELMo embedding 过Bi-LSTM后拼接ELMo embedding cross-attention相互表征 原表征和cross表征fuse 门机制控制原表征和fuse表征融合结果 对paragraph加入人工特征后果B...原创 2019-01-27 17:31:13 · 711 阅读 · 0 评论 -
Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension读书笔记
发表于ACL2018开放领域问答任务中,以往模型主要注重建模passage和question之间的关系,却很少关注候选答案实体。本文采用收集-筛选框架,先从各个passage中选出候选答案集合,再根据候选答案集合筛选最后的答案。我认为也算是一种“从粗到细”的方法。模型: 1.收集候选答案集合 用BiLSTM对question和passage分别建模,再利用两两内积算相似...原创 2019-01-28 11:08:54 · 185 阅读 · 0 评论 -
Efficient and Robust Question Answering from Minimal Context over Documents读书笔记
发表于ACL2018RCQA任务中,以往模型依赖于整个passage,而作者发现往往只需要少数几个句子就能回答问题。依赖整个passage带来效率上的降低,并且模型更容易被噪音内容干扰。模型: 引入sentence selector,选取最有可能回答问题的句子,再输入给QA模块进行回答。...原创 2019-01-28 12:25:24 · 393 阅读 · 0 评论 -
Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia读书笔记
发表于ACL2018为了得到更大规模的QA数据集,本文尝试从wiki文本中自动生成QA对。模型: 指代消解模型。将文本中的代词找到具有实际含义的实体。 encoder-decoder生成问句。encoder中加入了很多特征,decoder时利用attention机制和copy机制生成问句。 利用SQuAD数据集进行训练。 ...原创 2019-01-28 15:39:28 · 407 阅读 · 0 评论 -
Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification读书笔记
发表于ACL2018open-domain QA可能会涉及多个passage都包含了与问题非常相关的回答(有些正确有些错误)。本文的想法是对每个passage得到的答案进行相互验证,选出最佳答案。(正确答案更可能被别的passage里答案所支持) 模型: 1.boundary score 类似[Seo et al. 2016,Bidirectional attention f...原创 2019-01-28 16:27:01 · 296 阅读 · 0 评论 -
Situated Mapping of Sequential Instructions to Actions with Single-step Reward Observation读书笔记
发表于ACL2018将文本指令转化为对应的action序列使用强化学习,对文本指令和state表征,利用attention机制decode得到policy。reward不仅仅是达到目标状态(太稀疏),还加入了编辑距离的变化使用single-step reward observation学习算法,根据采样,在每一步使用所有action计算单步reward,计算梯度。...原创 2019-01-28 17:44:29 · 159 阅读 · 0 评论 -
Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning读书笔记
发表于ACL2018远程监督是关系抽取任务中常用的做法,但存在一个非常明显的问题,就是数据噪音问题。以往方法或者从所有远程监督句子中选取一个打分最高的作为正例,但这样会损失很多信息;或者使用软对齐的方法,通过加注意力机制,但是消除噪音的效果并不完全,且在极端情况(所有句子都是负例)的时候无效。本文认为硬对齐才是更好的消除噪音的方法,采用强化学习对每个句子做决策:留在正例集合中还是换到负例集合中...原创 2019-01-28 20:14:49 · 768 阅读 · 0 评论 -
Interpretable and Compositional Relation Learning by Joint Training with an Autoencoder读书笔记
发表于ACL2018本文指出KB embedding应当落在一个低维空间中,更能捕捉组合关系;以往方法使用预定义的规则限制维度,但由于不知道哪些关系具有组合性,效果不理想。本文提出使用Autoencoder联合训练达到降维目的。 模型: 实体定义为向量,关系定义为矩阵,composition训练:即根据路径和两端实体计算loss Autoencoder联合训练:对关...原创 2019-01-29 15:28:27 · 232 阅读 · 0 评论 -
Think Visually:Question Answering through Virtual Imagery读书笔记
设计空间关系的问答,例如描述了一系列物体的位置、大小、包含关系等,最后询问某物体在另一物体的哪个方位。 本文加入了2D空间representation,推理模块使用多跳memory网络...原创 2019-02-15 15:40:52 · 176 阅读 · 0 评论 -
End-to-End Reinforcement Learning for Automatic Taxonomy Induction读书笔记
自动词语分类提取词语对之间的特征,生成分类树的过程视作序列决策,每次选择一对词加入分类树中原创 2019-02-15 16:30:41 · 285 阅读 · 0 评论 -
Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning读书笔记
建立了world model用于模拟用户,可以认为是一种model-based RL每轮训练,首先利用真实交互训练agent,通过得到的数据训练world model,再根据world model做planning训练agent ...原创 2019-02-15 19:53:29 · 813 阅读 · 0 评论 -
RNN中的skip操作
Learning to Skim Text 每次阅读R个词,然后根据当前状态输出跳转步数。使用RL训练。 SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS 每步决策是否更新state(即选择接收输入或者忽略),用一个round函数当做hard gate。不采用RL更新,直接将阶梯函数...原创 2019-02-16 20:09:53 · 1475 阅读 · 0 评论 -
Stochastic Answer Networks for Machine Reading Comprehension读书笔记
发表于ACL2018 在Reading Comprehension任务上,往往会采用多步推理的机制,但是之前的工作或者具体规定了推理步数或者通过强化学习等方式动态得到。但这些方法都是依赖于某一步的结果,本文提出SAN网络,通过综合利用每一步的结果得出最后答案,使得模型不依赖于某一步的结果。模型: 底层模型与以往模型类似,有部分改进,最终得到对question和paragra...原创 2019-01-27 15:37:52 · 900 阅读 · 0 评论 -
DuoRC: Towards Complex Language Understanding with Paraphrased Reading Comprehension读书笔记
发表于ACL2018构建了DuoRC数据集,是一个大规模复杂阅读理解任务,问题和文本的重合度低,且有大量叙述成分需要常识和推理。原创 2019-01-27 11:43:54 · 305 阅读 · 0 评论 -
A Graph-to-Sequence Model for AMR-to-Text Generation读书笔记
发表于ACL2018AMR-to-Text以往的方法使用seq2seq模型,利用深度优先搜索将AMR变成序列,再利用LSTM模型编码,采用Encoder-Decoder方法得到Text。这类方法会损失AMR结构信息,某些相邻结点在序列中可能距离很远,不利于信息传递。本文使用图上的LSTM对每个结点编码,再利用Encoder-Decoder方法得到Text。采用多步信息传递,每步传递时,每个...原创 2019-01-27 11:19:38 · 1418 阅读 · 0 评论 -
Question Condensing Networks for Answer Selection in Community Question Answering读书笔记
发表于ACL2018解决的问题: Community question answering(CQA)中没有区分问题标题和描述内容,没有区分答案和问题中的噪音信息 采用的方法: 首先对所有单词采用Glove(fine-tune)+Char-level CNN得到词向量。 然后对于问题标题和内容的词向量,两两计算“相似度”,计算方法如下: 1...原创 2019-01-24 20:12:53 · 474 阅读 · 0 评论 -
Did the Model Understand the Question?读书笔记
发表于ACL2018利用Integrated Gradient方法得到模型最关注的词,发现模型往往只关注部分词,而且往往并不重要。通过两种方法说明问题: 1.问题只保留重要词,模型仍有较好结果 2.加入包含重要词的无关句子,模型表现下降很快这是一种更加有效的攻击方法,也可以衡量模型对于部分重要词的依赖度是否过高,是评价模型的另一种方法...原创 2019-01-24 21:24:50 · 624 阅读 · 0 评论 -
Graph-to-Sequence Learning using Gated Graph Neural Networks读书笔记
发表于ACL2018很多NLP问题可以建模为Graph-to-Sequence问题。存在的问题: 之前方法有两种:grammar-based和seq2seq方法。grammar-based方法需要graph结点和字符token的对齐,seq2seq方法直接忽略了结构信息。 采用的方法: 本文利用Gated Graph Neural Networks(GGNN...原创 2019-01-25 15:14:15 · 1151 阅读 · 0 评论 -
Improving Knowledge Graph Embedding Using Simple Constraints读书笔记
发表于ACL2018简单加入约束条件提高KGE的效果。本文加入两个条件:非负约束和近似推理约束非负约束: 记录信息时,仅记录正向信息更高效,“猫是哺乳动物”比“猫不是爬行动物”更高效。表现为实体嵌入表示非负。近似推理约束: r1 => r2, 表现为score(e1,r1,e2)<=score(e1, r2, e2).这是绝对推理,近似推理引入置信度,并...原创 2019-01-25 16:04:50 · 510 阅读 · 0 评论 -
Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms读书笔
发表于ACL2018本文对比了简单用Word Embedding+Pooling的模型(SWEM)与使用CNN/RNN的模型的表现,发现SWEM简单有效,某些任务上甚至超过了CNN/RNN模型。通过比较得到以下几点结论: 长文本上直接用Pooling非常有效,而CNN/RNN在短文本上更有效; 在情感分析上词序比较重要,但通过引入Hierarchical Pooling也能...原创 2019-01-25 19:15:06 · 485 阅读 · 0 评论 -
Event2Mind: Commonsense Inference on Events, Intents, and Reactions读书笔记
发表于ACL2018构建了一个event数据集,包含一段描述某一行为(事件)的短文本,以及该行为(事件)施加者的意图、行为发生后施加者的变化和被施加者的变化用了一个encoder-decoder作为baseline...原创 2019-01-25 19:39:49 · 319 阅读 · 0 评论 -
Deep Reinforcement Learning for Chinese Zero pronoun Resolution读书笔记
发表于ACL2018中文“零代词”消解问题,前面的指代消解会影响后面的结果,以往模型独立考虑,本文采用强化学习,将消解作为序列决策任务。原创 2019-01-25 21:17:20 · 296 阅读 · 0 评论 -
Multi-Relational Question Answering from Narratives读书笔记
发表于ACL2018基于模拟一个场景生成的叙述问答数据集,包含一系列第一人称视角的叙述语以及相关问题。共5个场景,5000个故事片段,120万多的问题。该任务是QA over KB和QA over Text的混合任务...原创 2019-01-26 11:16:40 · 201 阅读 · 0 评论 -
Simple and Effective Multi-Paragraph Reading Comprehension读书笔记
发表于ACL2018 从paragraph QA到多paragraph QA有两种常用方法:pipeline方法先选取一个paragr,再用paragraph QA;confidence方法对所有paragraph都找答案并给出置信度,最后输出最高的。但后者较难训练。 本文首先改进了pipeline方法,再结合confidence方法,取得了STOA的效果。 用TF-...原创 2019-01-26 14:46:50 · 832 阅读 · 0 评论 -
Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module读书笔记
发表于ACL2018利用Memory Network(MemNN)结合Relation Network(RN)进行推理。MemNN缺乏推理能力,RN时间复杂度为O(n^2)。本文通过结合两者,把时间复杂度降到线性的同时保留了RN的推理能力。模型:以Text QA为例,解释模型组成。Input Module 对Text每个句子用GRU建模得到向量,存储到Short term...原创 2019-01-26 16:20:32 · 232 阅读 · 0 评论 -
Reasoning with Sarcasm by Reading In-between读书笔记
发表于ACL2018讽刺检测对于情感分析等任务非常重要,因为对于讽刺的句子往往会得出相反的情感结论。以往方法依赖LSTM等compositional模型,不利于句内词语关系的发现。本文认为讽刺的出现往往伴随某些相反极性的词语出现,因此建模词语间的关系非常重要。模型: 首先过embedding layer得到word embedding,然后计算两两词语间的匹配度得到匹配矩阵,再对...原创 2019-01-26 16:57:49 · 460 阅读 · 0 评论 -
DialSQL: Dialogue Based Structured Query Generation读书笔记
发表于ACL2018用与user交互的方式改进SQL的生成。训练数据通过simulation得到原创 2019-01-26 20:31:44 · 233 阅读 · 0 评论 -
Dating Documents using Graph Convolution Networks读书笔记
发表于ACL2018利用了GCN来预测文档生成时间(DCT)。主要是对文档中每个句子的依存关系树使用GCN得到表征。另外还在temporal structure上使用GCN。 notes: 引入了带label的有向边,GCN使用时在聚合函数的参数中引入了方向和类型。为了避免参数过多导致过拟合,只采用了3种类型的边。...原创 2019-01-26 21:24:27 · 398 阅读 · 0 评论 -
ReasoNet: Learning to Stop Reading in Machine Comprehension读书笔记
multi-hop reasoning阅读理解,通过强化学习决定hop步数。训练技巧: 一般的baseline方法采用的是全局baseline,但是不同输入的hop步数不同,采用全局baseline没有区分。本文采用Constrastive Reward,对每个输入单独计算baseline,提高训练速度。...原创 2019-02-17 10:46:05 · 304 阅读 · 0 评论