- 博客(41)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Multimodal Policy Search using Overlapping Mixtures of Sparse Gaussian Process Prior读书笔记
没怎么看懂，大致的motivation是，为了使non-parametric policy具有multimodal的性质，采用多个Gaussian Process混合的形式，并使用变分贝叶斯推断的方式进行policy search。还使用了sparse-pseudo-input GP进行扩展。实验比较简单，做了一个物体抓取（旋转夹子使得能夹起物体，有顺时针和逆时针两种策略）和table-...
2019-11-22 19:55:53
156
原创 Learning Robust Manipulation Skills with Guided Policy Search via Generative Motor Reflexes读书笔记
Guided Policy Search(GPS) 学到的policy比较受trajectory optimization得到的trajectory分布的影响，因为其本质上就是做了个supervised learning，因此在未见到的state上容易出现不稳定的情况。本文的目标是得到一个更加robust的policy，本文称之为Generative Motor Reflexes（GMR）结构。...
2019-11-22 17:32:47
210
原创 Deep Predictive Policy Training using Reinforcement Learning读书笔记
本文的目标是从raw image data中学习到predictive policy。predictive policy是指根据当前的input一次性输出之后一段时间内的action，而普通意义上的policy（文章里说是reactive types of controller）在每一个时刻都重新输出一个action。predictive policy的优势在于执行更快，不会受sensor del...
2019-11-20 17:13:43
206
原创 Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing读书笔记
对policy Gradient的一种改进算法。利用一个memory buffer存储high reward的trajectory，估计gradient时利用inside buffer和outside buffer两部分的加权和来估计，能有效降低variance...
2019-02-25 16:15:37
303
原创 Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision读书笔记
利用Lisp语言的形式表示问题的semantic，可以通过程序执行得到检索答案整个系统由三部分组成：computer，programmer，managercomputer是可以执行程序的部分manager是提供weak supervision的部分主要的解析部分为programmer programmer基于带attention的seq2seq模型，为了使得程序能够解...
2019-02-25 15:59:46
525
原创 Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text读书笔记
本文考虑如何同时利用Knowledge Graph和text来回答问题。主要思想是构建问题子图（包含KG和text），然后利用图表示学习方法，选出答案。 问题子图构建： KB查询：在question中做entity linking得到seed entities，然后利用Personalized PageRank寻找周围可能的实体。边权重由边类型决定，边类型的权重由边的word e...
2019-02-25 15:44:40
1021
原创 Character-Level Question Answering with Attention读书笔记
针对simple questionchar-level LSTM得到句子表征序列char-level CNN建模entity和predicate利用LSTM decoder生成entity和predicate： 每次输入context向量和input向量，t=0是input为0，t=1 train时 input为true entity embedding，test时input...
2019-02-20 20:12:54
272
原创 Neural Network-based Question Answering over Knowledge Graphs on Word and Character Level读书笔记
针对simple questionword embedding同时采用两种level的embedding再分别对question，entity和predicate建模，都是利用词序列过GRU得到表征，计算余弦相似度candidate entity生成方法： 1.一个实体与问题中的n-gram完全match，加入候选集 2.如果一个n-gram被包含在更大的n-gra...
2019-02-20 17:57:28
833
原创 KBQA: Learning Question Answering over QA Corpora and Knowledge Bases读书笔记
主要思想是找到问题中的topic entity， 替换为类型后得到模板（template），映射到知识图谱中的谓词（predicate），再找到答案。模板生成方法： 找到问题中可能的实体，判断实体可能的类型，将实体词替换为类型符号，例如How many people are there in $City?模板到谓词的概率由最大化训练数据的概率来估计，由于有隐变量（template...
2019-02-19 21:10:26
641
原创 Convolutional Neural Network-based Question Answering over Knowledge Base with Type Constraint读书笔记
主要贡献为加入了type constraint提高QA的准确率将QA分为两个步骤：Relation Detection和Answer Type PredictionRelation Detection假设问题只有一个topic entity，通过WEBQSP数据集直接得到每个问题的topic entity然后将所有从topic entity出发的两跳以内的关系作为候选关系将候...
2019-02-19 10:42:53
372
原创 Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering读书笔记
通过GGNN对semantic graph进行打分框架1.semantic graph的生成 识别问句中的entity（S-MART工具），再通过定义的个action生成所有可能的查询图2.semantic graph打分 通过GGNN，经过多次领域信息融合，最终将question node的表征通过非线性变换得到查询图的表征，与问题表征计算余弦相似度3.训练...
2019-02-18 16:13:55
670
原创 ReasoNet: Learning to Stop Reading in Machine Comprehension读书笔记
multi-hop reasoning阅读理解，通过强化学习决定hop步数。训练技巧： 一般的baseline方法采用的是全局baseline，但是不同输入的hop步数不同，采用全局baseline没有区分。本文采用Constrastive Reward，对每个输入单独计算baseline，提高训练速度。...
2019-02-17 10:46:05
304
原创 RNN中的skip操作
Learning to Skim Text 每次阅读R个词，然后根据当前状态输出跳转步数。使用RL训练。 SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS 每步决策是否更新state（即选择接收输入或者忽略），用一个round函数当做hard gate。不采用RL更新，直接将阶梯函数...
2019-02-16 20:09:53
1474
原创 Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning读书笔记
建立了world model用于模拟用户，可以认为是一种model-based RL每轮训练，首先利用真实交互训练agent，通过得到的数据训练world model，再根据world model做planning训练agent ...
2019-02-15 19:53:29
813
原创 End-to-End Reinforcement Learning for Automatic Taxonomy Induction读书笔记
自动词语分类提取词语对之间的特征，生成分类树的过程视作序列决策，每次选择一对词加入分类树中
2019-02-15 16:30:41
285
原创 Think Visually:Question Answering through Virtual Imagery读书笔记
设计空间关系的问答，例如描述了一系列物体的位置、大小、包含关系等，最后询问某物体在另一物体的哪个方位。 本文加入了2D空间representation，推理模块使用多跳memory网络...
2019-02-15 15:40:52
174
原创 Interpretable and Compositional Relation Learning by Joint Training with an Autoencoder读书笔记
发表于ACL2018本文指出KB embedding应当落在一个低维空间中，更能捕捉组合关系；以往方法使用预定义的规则限制维度，但由于不知道哪些关系具有组合性，效果不理想。本文提出使用Autoencoder联合训练达到降维目的。 模型： 实体定义为向量，关系定义为矩阵，composition训练：即根据路径和两端实体计算loss Autoencoder联合训练：对关...
2019-01-29 15:28:27
232
原创 Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning读书笔记
发表于ACL2018远程监督是关系抽取任务中常用的做法，但存在一个非常明显的问题，就是数据噪音问题。以往方法或者从所有远程监督句子中选取一个打分最高的作为正例，但这样会损失很多信息；或者使用软对齐的方法，通过加注意力机制，但是消除噪音的效果并不完全，且在极端情况（所有句子都是负例）的时候无效。本文认为硬对齐才是更好的消除噪音的方法，采用强化学习对每个句子做决策：留在正例集合中还是换到负例集合中...
2019-01-28 20:14:49
768
原创 Situated Mapping of Sequential Instructions to Actions with Single-step Reward Observation读书笔记
发表于ACL2018将文本指令转化为对应的action序列使用强化学习，对文本指令和state表征，利用attention机制decode得到policy。reward不仅仅是达到目标状态（太稀疏），还加入了编辑距离的变化使用single-step reward observation学习算法，根据采样，在每一步使用所有action计算单步reward，计算梯度。...
2019-01-28 17:44:29
159
原创 Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification读书笔记
发表于ACL2018open-domain QA可能会涉及多个passage都包含了与问题非常相关的回答（有些正确有些错误）。本文的想法是对每个passage得到的答案进行相互验证，选出最佳答案。（正确答案更可能被别的passage里答案所支持） 模型： 1.boundary score 类似[Seo et al. 2016,Bidirectional attention f...
2019-01-28 16:27:01
296
原创 Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia读书笔记
发表于ACL2018为了得到更大规模的QA数据集，本文尝试从wiki文本中自动生成QA对。模型： 指代消解模型。将文本中的代词找到具有实际含义的实体。 encoder-decoder生成问句。encoder中加入了很多特征，decoder时利用attention机制和copy机制生成问句。 利用SQuAD数据集进行训练。 ...
2019-01-28 15:39:28
407
原创 Efficient and Robust Question Answering from Minimal Context over Documents读书笔记
发表于ACL2018RCQA任务中，以往模型依赖于整个passage，而作者发现往往只需要少数几个句子就能回答问题。依赖整个passage带来效率上的降低，并且模型更容易被噪音内容干扰。模型： 引入sentence selector,选取最有可能回答问题的句子，再输入给QA模块进行回答。...
2019-01-28 12:25:24
393
原创 Joint Training of Candidate Extraction and Answer Selection for Reading Comprehension读书笔记
发表于ACL2018开放领域问答任务中，以往模型主要注重建模passage和question之间的关系，却很少关注候选答案实体。本文采用收集-筛选框架，先从各个passage中选出候选答案集合，再根据候选答案集合筛选最后的答案。我认为也算是一种“从粗到细”的方法。模型： 1.收集候选答案集合 用BiLSTM对question和passage分别建模，再利用两两内积算相似...
2019-01-28 11:08:54
183
原创 Multi-Granularity Hierarchical Attention Fusion Networks for RCQA读书笔记
发表于ACL2018阿里在SQuAD数据集首次在EM指标上超过人类平均水平的工作模型： glove+ELMo embedding 过Bi-LSTM后拼接ELMo embedding cross-attention相互表征 原表征和cross表征fuse 门机制控制原表征和fuse表征融合结果 对paragraph加入人工特征后果B...
2019-01-27 17:31:13
709
原创 Stochastic Answer Networks for Machine Reading Comprehension读书笔记
发表于ACL2018 在Reading Comprehension任务上，往往会采用多步推理的机制，但是之前的工作或者具体规定了推理步数或者通过强化学习等方式动态得到。但这些方法都是依赖于某一步的结果，本文提出SAN网络，通过综合利用每一步的结果得出最后答案，使得模型不依赖于某一步的结果。模型： 底层模型与以往模型类似，有部分改进，最终得到对question和paragra...
2019-01-27 15:37:52
900
原创 DuoRC: Towards Complex Language Understanding with Paraphrased Reading Comprehension读书笔记
发表于ACL2018构建了DuoRC数据集，是一个大规模复杂阅读理解任务，问题和文本的重合度低，且有大量叙述成分需要常识和推理。
2019-01-27 11:43:54
304
原创 A Graph-to-Sequence Model for AMR-to-Text Generation读书笔记
发表于ACL2018AMR-to-Text以往的方法使用seq2seq模型，利用深度优先搜索将AMR变成序列，再利用LSTM模型编码，采用Encoder-Decoder方法得到Text。这类方法会损失AMR结构信息，某些相邻结点在序列中可能距离很远，不利于信息传递。本文使用图上的LSTM对每个结点编码，再利用Encoder-Decoder方法得到Text。采用多步信息传递，每步传递时，每个...
2019-01-27 11:19:38
1418
原创 Dating Documents using Graph Convolution Networks读书笔记
发表于ACL2018利用了GCN来预测文档生成时间(DCT)。主要是对文档中每个句子的依存关系树使用GCN得到表征。另外还在temporal structure上使用GCN。 notes： 引入了带label的有向边，GCN使用时在聚合函数的参数中引入了方向和类型。为了避免参数过多导致过拟合，只采用了3种类型的边。...
2019-01-26 21:24:27
398
原创 DialSQL: Dialogue Based Structured Query Generation读书笔记
发表于ACL2018用与user交互的方式改进SQL的生成。训练数据通过simulation得到
2019-01-26 20:31:44
233
原创 Reasoning with Sarcasm by Reading In-between读书笔记
发表于ACL2018讽刺检测对于情感分析等任务非常重要，因为对于讽刺的句子往往会得出相反的情感结论。以往方法依赖LSTM等compositional模型，不利于句内词语关系的发现。本文认为讽刺的出现往往伴随某些相反极性的词语出现，因此建模词语间的关系非常重要。模型： 首先过embedding layer得到word embedding，然后计算两两词语间的匹配度得到匹配矩阵，再对...
2019-01-26 16:57:49
459
原创 Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module读书笔记
发表于ACL2018利用Memory Network（MemNN）结合Relation Network（RN）进行推理。MemNN缺乏推理能力，RN时间复杂度为O(n^2)。本文通过结合两者，把时间复杂度降到线性的同时保留了RN的推理能力。模型：以Text QA为例，解释模型组成。Input Module 对Text每个句子用GRU建模得到向量，存储到Short term...
2019-01-26 16:20:32
231
原创 Simple and Effective Multi-Paragraph Reading Comprehension读书笔记
发表于ACL2018 从paragraph QA到多paragraph QA有两种常用方法：pipeline方法先选取一个paragr，再用paragraph QA；confidence方法对所有paragraph都找答案并给出置信度，最后输出最高的。但后者较难训练。 本文首先改进了pipeline方法，再结合confidence方法，取得了STOA的效果。 用TF-...
2019-01-26 14:46:50
832
原创 Multi-Relational Question Answering from Narratives读书笔记
发表于ACL2018基于模拟一个场景生成的叙述问答数据集，包含一系列第一人称视角的叙述语以及相关问题。共5个场景，5000个故事片段，120万多的问题。该任务是QA over KB和QA over Text的混合任务...
2019-01-26 11:16:40
201
原创 Deep Reinforcement Learning for Chinese Zero pronoun Resolution读书笔记
发表于ACL2018中文“零代词”消解问题，前面的指代消解会影响后面的结果，以往模型独立考虑，本文采用强化学习，将消解作为序列决策任务。
2019-01-25 21:17:20
296
原创 Event2Mind: Commonsense Inference on Events, Intents, and Reactions读书笔记
发表于ACL2018构建了一个event数据集，包含一段描述某一行为（事件）的短文本，以及该行为（事件）施加者的意图、行为发生后施加者的变化和被施加者的变化用了一个encoder-decoder作为baseline...
2019-01-25 19:39:49
319
原创 Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms读书笔
发表于ACL2018本文对比了简单用Word Embedding+Pooling的模型（SWEM）与使用CNN/RNN的模型的表现，发现SWEM简单有效，某些任务上甚至超过了CNN/RNN模型。通过比较得到以下几点结论： 长文本上直接用Pooling非常有效，而CNN/RNN在短文本上更有效； 在情感分析上词序比较重要，但通过引入Hierarchical Pooling也能...
2019-01-25 19:15:06
485
原创 Improving Knowledge Graph Embedding Using Simple Constraints读书笔记
发表于ACL2018简单加入约束条件提高KGE的效果。本文加入两个条件：非负约束和近似推理约束非负约束： 记录信息时，仅记录正向信息更高效，“猫是哺乳动物”比“猫不是爬行动物”更高效。表现为实体嵌入表示非负。近似推理约束： r1 => r2, 表现为score(e1,r1,e2)<=score(e1, r2, e2).这是绝对推理，近似推理引入置信度，并...
2019-01-25 16:04:50
510
原创 Graph-to-Sequence Learning using Gated Graph Neural Networks读书笔记
发表于ACL2018很多NLP问题可以建模为Graph-to-Sequence问题。存在的问题： 之前方法有两种：grammar-based和seq2seq方法。grammar-based方法需要graph结点和字符token的对齐，seq2seq方法直接忽略了结构信息。 采用的方法： 本文利用Gated Graph Neural Networks(GGNN...
2019-01-25 15:14:15
1151
原创 Did the Model Understand the Question?读书笔记
发表于ACL2018利用Integrated Gradient方法得到模型最关注的词，发现模型往往只关注部分词，而且往往并不重要。通过两种方法说明问题： 1.问题只保留重要词，模型仍有较好结果 2.加入包含重要词的无关句子，模型表现下降很快这是一种更加有效的攻击方法，也可以衡量模型对于部分重要词的依赖度是否过高，是评价模型的另一种方法...
2019-01-24 21:24:50
624
原创 Denoising Distantly Supervised Open-Domain Question Answering读书笔记
发表于ACL2018解决的问题： DS-QA中的noise问题：许多包含答案但其实无关的段落。以往方法采用先选取一个最有可能的段落，再从中抽取答案。这样会损失信息。有人采取了Re-ranking机制，但仍依赖原有DS-QA system。本文采用从粗到细的方法，先利用IE抽一部分段落，再快速筛选出可能性高的段落，再从中选取答案。 采用的方法： 对于IE之后的段落，采...
2019-01-24 20:13:03
303
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人