qq_43390809的博客

1.动态注意网络（DCN）：1.1 encoder查询术语序列向量表示（GloVe）： (xxxQ^QQ1_11​，xxxQ^QQ2_22​,…,xxxQ^QQn_nn​)文档术语序列向量表示（GloVe）：(xxxD^DD1_11​，xxxD^DD2_22​,…,xxxD^DDm_mm​)使用LSTM编码文档：dddt_tt​=LLLSSSTTTMMMe_ee​n_nn​c_cc​(dddt_tt​−_-−​1_11​,xxxD^DDt_tt​)。文档编码矩阵：DDD = [d1d_1d1​….

abstract本文提出了一个基于图的分层相关匹配模型（GHRM），它可以同时捕获subtle 和general的层次匹配信号。 https://github.com/CRIPAC-DIG/GHRM1.介绍分层查询文档相关性匹配过程示例。(a)查询和候选文档(省略部分文字)。(b)文档中部分文字图。（c）包含关键词并丢弃与查询无关的词的层次图：3 PROPOSED METHOD3.1 Problem Formulation查询和文档：本文目的是对关于查询词和文档词的一系列相.

DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering https://github.com/StonyBrookNLP/deformerMotivation单塔模型运行速度慢，并且内存密集，本文引入DeFormer，它在较低的层单独处理question和passages，这允许预先计算段落表示，从而大大减少运行时计算。1.介绍根据这个事实：预训练模型较低的层往往侧重于local现象，如句..

Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension https://github.com/DancingSoul/NQ_BERT-DMMotivation自然问题两种粒度的答案，即长答案(通常是一个passage)和短答案(长答案内的一个或多个实体)。现有方法在训练过程中单独处理这两个子任务，而忽略了它们的依赖性。1 Introduction图1介绍了..

Message Passing Attention Networks for Document Understanding https://github.com/giannisnik/mpad.1.Motivation将MP（message passing）架构应用于文本表示学习。2 Message Passing Neural Networks对于一个图GGG=（VVV,EEE）,考虑节点vvv∈VVV，在ttt+++111时刻，一个massage 向量由节点vvv的邻居计算得出：然后..

Text Level Graph Neural Network for Text ClassificationMotivation解决基于GNN的文本分类主要面临的不支持在线测试的固定语料层次图结构和高内存消耗的实际问题。2 Method首先为给定的文本构建一个文本层次图；文本级图的所有参数都取自一些全局共享矩阵。然后，在这些图上引入消息传递机制，从上下文中获取信息。最后，基于所学的表示来预测给定文本的标签。2.1 Building Text Graph对于文本TTT = {r1r_1r1​,.

Neural Graph Matching Networks for Chinese Short Text Matching1.介绍中文短文本匹配不同于英文，中文分词可能是错误的、模糊的或不一致的，从而损害最终的匹配性能。比如下图：字符序列“南京市长江大桥”经过不同的分词可能表达为不同的意思。本文针对这种情况提出了一种用于中文短文本匹配的神经图匹配方法(GMN)。不是将每个句子分割成一个单词序列，而是保留所有可能的分割路径，形成一个单词格图（segment1，segment2，segment...

NumNet: Machine Reading Comprehension with Numerical Reasoning https://arxiv.org/abs/1910.06701 https://github.com/ranqiu92/NumNet1.Motivation将数值推理集成到机器阅读理解模型中。两个关键因素：数值比较：问题的答案可以通过在文档中进行数值比较，如排序和比较，直接获得。例如，在表1中，对于第一个问题，如果MRC系统知道...

Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks https://github.com/CRIPAC-DIG/TextING1. Motivation现有的基于graph的工作既不能捕捉每个文档中的上下文单词关系，也不能实现新单词的归纳学习。2. 介绍基于图的方法有两个主要缺点。首先，忽略了每个文档中上下文相关的单词关系。具体来说，TextGCN ...

Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring 非官方github ： https://github.com/chijames/Poly-Encoder1.摘要Cross - encoder 对句子对进行完全self-attention ，Bi - encoder分别对句子对进行编码。前者往往性能更好，但实际使用起来太慢。在..

Question Directed Graph Attention Network for Numerical Reasoning over Text摘要对文本进行数字推理，如加法、减法、排序和计数，是一项具有挑战性的机器阅读理解任务，因为它需要自然语言理解和算术计算。为了应对这一挑战，作者提出了一种异构图表示，用于这种推理所需的文章和问题的上下文，并设计了一个问题导向图注意网络来驱动该上下文图上的多步数值推理。介绍作者认为QANET和NumNet对于复杂的数值推理是不够的，因为它们缺少数值...

K-BERT: Enabling Language Representation with Knowledge Graph https://github.com/autoliuweijie/K-BERT.Motivayion弥补语言模型缺乏领域知识的弊端摘要预先训练的语言表示模型，如BERT，从大规模语料库中获取一般的语言表示，但缺乏特定领域的知识。阅读一篇领域文本时，专家用相关知识进行推理。为了使机器能够实现这一功能，作者提出了一种基于知识的语言表示模型，其中三元组作为领域知识注入到句...

DC-BERT: DECOUPLING QUESTION AND DOCUMENT FOR EFFICIENT CONTEXTUAL ENCODINGMotivation关注预训练的LM应用于open-domain的无法处理高吞吐量的传入问题。DC-BERTBBBEEERRRTTT的较低层编码更多的局部句法信息，如词性标签，而较高层往往依赖于更广泛的上下文来捕捉更复杂的语义。DDDCCCBBBEEERRRTTT受这个启发，它将BBBEEERRRTTT的较低层解耦到本地上下文(question和.

Learning to Match Using Local and Distributed Representations of Text for Web Search摘要DUET由两个独立的深度神经网络组成，一个使用局部表示匹配查询和文档，另一个使用学习的分布式表示匹配查询和文档。这两个网络作为单个神经网络的一部分被联合训练。Motivationlocal 模型进行精确匹配，分布式模型进行 同义词，相关术语或者语义匹配。讨论作者提出三个高效IR的属性exact match :这是I..

ColBERT: Eficient and Efective Passage Search via Contextualized Late Interaction over BERTMotivation预训练的LM在IR上计算成本太高。本文考虑降低计算成本的同时，保证检索性能，并且结合基于表示和交互的模型（如下图ddd）。IR模型对比：(ddd):每个查询 embedding 都通过MaxSim操作符与所有文档嵌入交互，MaxSim操作符计算最大相似度(例如cos)，并且这些操作符的标量输出..

Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index nlp.cs.washington.edu/denspi Training takes 16 hours (64-GPU hours) and indexing takes 5 days (500 GPU-hours）1.摘要现有的开放域问答（QA）模型不适合实时使用，因为它们需要针对每个输入查询按需处理多个长文档。 在本文中，作者介绍了文档短...

Knowledge-enhanced Hierarchical Attention for Community Question Answering with Multi-task and Adaptive Learning介绍作者认为社区QA存在下列问题：外部事实知识没有得到充分利用（KB）CQA模型应当考虑输入序列的不同语义级别（attention）现有的CQA模型没有考虑输入question的类别，可能丢失重要特征（多任务：QA+question 分类）现有的CQA模型不能有效的处理.

Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering介绍在基于文本的open-domain QA中，如何在不牺牲覆盖面的情况下最好地利用知识库(KB)仍然是一个悬而未决的问题。之前的工作已经将知识库事实转化为句子，以提供额外的证据在本文中，但是不显式地使用知识库图结构。作者展示了这种结构对于在基于开放域文本的问答中检索文本段落和融合它们之间的信息是非常有益的。作者介绍了一种基于文本的开放领域...

Dense Passage Retrieval for Open-Domain Question Answeringhttps://github.com/facebookresearch/DPR摘要开放域问题回答依赖于有效的段落检索来选择候选上下文，其中传统的稀疏向量空间模型，如TF-IDF或BM25，是事实上的方法。作者表明检索实际上可以单独使用密集表示来实现，其中embedding是通过简单的dual-encoder framework从少量的questions 和 passages 中学习的.

Multi-Task Deep Neural Networks for Natural Language Understanding https://github.com/namisan/mt-dnn.ModelLexicon Encoder ( l1):输入XXX = {x1x_1x1​,…,xmx_mxm​}，mmm个token,X可以是单个句子，也可以是多个句子的打包首个token：[CLS]句子分割：[SEP]embedding：word, segment, and pos...