笔记链接
文章平均质量分 91
我黑切呢**
这个作者很懒,什么都没留下…
展开
-
动态/双向attention和QANet
1.动态注意网络(DCN):1.1 encoder查询术语序列向量表示(GloVe): (xxxQ^QQ1_11,xxxQ^QQ2_22,…,xxxQ^QQn_nn)文档术语序列向量表示(GloVe):(xxxD^DD1_11,xxxD^DD2_22,…,xxxD^DDm_mm)使用LSTM编码文档:dddt_tt=LLLSSSTTTMMMe_een_nnc_cc(dddt_tt−_-−1_11,xxxD^DDt_tt)。文档编码矩阵:DDD = [d1d_1d1….原创 2021-03-05 13:44:35 · 429 阅读 · 1 评论 -
Graph-based Hierarchical Relevance Matching Signals for Ad-hoc Retrieval
abstract本文提出了一个基于图的分层相关匹配模型(GHRM),它可以同时捕获subtle 和general的层次匹配信号。 https://github.com/CRIPAC-DIG/GHRM1.介绍分层查询文档相关性匹配过程示例。(a)查询和候选文档(省略部分文字)。(b)文档中部分文字图。(c)包含关键词并丢弃与查询无关的词的层次图:3 PROPOSED METHOD3.1 Problem Formulation查询和文档:本文目的是对关于查询词和文档词的一系列相.原创 2021-03-04 19:20:43 · 427 阅读 · 1 评论 -
DeFormer(20 ACL)
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering https://github.com/StonyBrookNLP/deformerMotivation单塔模型运行速度慢,并且内存密集,本文引入DeFormer,它在较低的层单独处理question和passages,这允许预先计算段落表示,从而大大减少运行时计算。1.介绍根据这个事实:预训练模型较低的层往往侧重于local现象,如句..原创 2021-03-03 15:43:06 · 698 阅读 · 1 评论 -
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension https://github.com/DancingSoul/NQ_BERT-DMMotivation自然问题两种粒度的答案,即长答案(通常是一个passage)和短答案(长答案内的一个或多个实体)。现有方法在训练过程中单独处理这两个子任务,而忽略了它们的依赖性。1 Introduction图1介绍了..原创 2021-03-03 14:09:44 · 277 阅读 · 0 评论 -
Message Passing Attention Networks for Document Understanding
Message Passing Attention Networks for Document Understanding https://github.com/giannisnik/mpad.1.Motivation将MP(message passing)架构应用于文本表示学习。2 Message Passing Neural Networks对于一个图GGG=(VVV,EEE),考虑节点vvv∈VVV,在ttt+++111时刻,一个massage 向量由节点vvv的邻居计算得出:然后..原创 2021-02-27 21:36:51 · 2198 阅读 · 5 评论 -
Text Level Graph Neural Network for Text Classification
Text Level Graph Neural Network for Text ClassificationMotivation解决基于GNN的文本分类主要面临的不支持在线测试的固定语料层次图结构和高内存消耗的实际问题。2 Method首先为给定的文本构建一个文本层次图;文本级图的所有参数都取自一些全局共享矩阵。然后,在这些图上引入消息传递机制,从上下文中获取信息。最后,基于所学的表示来预测给定文本的标签。2.1 Building Text Graph对于文本TTT = {r1r_1r1,.原创 2021-02-25 20:44:56 · 547 阅读 · 0 评论 -
Neural Graph Matching Networks for Chinese Short Text Matching
Neural Graph Matching Networks for Chinese Short Text Matching1.介绍中文短文本匹配不同于英文,中文分词可能是错误的、模糊的或不一致的,从而损害最终的匹配性能。比如下图:字符序列“南京市长江大桥”经过不同的分词可能表达为不同的意思。本文针对这种情况提出了一种用于中文短文本匹配的神经图匹配方法(GMN)。不是将每个句子分割成一个单词序列,而是保留所有可能的分割路径,形成一个单词格图(segment1,segment2,segment...原创 2021-02-25 15:05:36 · 1228 阅读 · 12 评论 -
NumNet
NumNet: Machine Reading Comprehension with Numerical Reasoning https://arxiv.org/abs/1910.06701 https://github.com/ranqiu92/NumNet1.Motivation将数值推理集成到机器阅读理解模型中。两个关键因素:数值比较:问题的答案可以通过在文档中进行数值比较,如排序和比较,直接获得。例如,在表1中,对于第一个问题,如果MRC系统知道...原创 2021-02-24 20:03:14 · 358 阅读 · 0 评论 -
TextING
Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks https://github.com/CRIPAC-DIG/TextING1. Motivation现有的基于graph的工作既不能捕捉每个文档中的上下文单词关系,也不能实现新单词的归纳学习。2. 介绍基于图的方法有两个主要缺点。首先,忽略了每个文档中上下文相关的单词关系。具体来说,TextGCN ...原创 2021-02-20 22:31:25 · 2001 阅读 · 0 评论