2021年02月_我黑切呢**

原创 Message Passing Attention Networks for Document Understanding

Message Passing Attention Networks for Document Understanding https://github.com/giannisnik/mpad.1.Motivation将MP（message passing）架构应用于文本表示学习。2 Message Passing Neural Networks对于一个图GGG=（VVV,EEE）,考虑节点vvv∈VVV，在ttt+++111时刻，一个massage 向量由节点vvv的邻居计算得出：然后..

2021-02-27 21:36:51 2292 5

原创 Text Level Graph Neural Network for Text Classification

Text Level Graph Neural Network for Text ClassificationMotivation解决基于GNN的文本分类主要面临的不支持在线测试的固定语料层次图结构和高内存消耗的实际问题。2 Method首先为给定的文本构建一个文本层次图；文本级图的所有参数都取自一些全局共享矩阵。然后，在这些图上引入消息传递机制，从上下文中获取信息。最后，基于所学的表示来预测给定文本的标签。2.1 Building Text Graph对于文本TTT = {r1r_1r1,.

2021-02-25 20:44:56 681

原创 Neural Graph Matching Networks for Chinese Short Text Matching

Neural Graph Matching Networks for Chinese Short Text Matching1.介绍中文短文本匹配不同于英文，中文分词可能是错误的、模糊的或不一致的，从而损害最终的匹配性能。比如下图：字符序列“南京市长江大桥”经过不同的分词可能表达为不同的意思。本文针对这种情况提出了一种用于中文短文本匹配的神经图匹配方法(GMN)。不是将每个句子分割成一个单词序列，而是保留所有可能的分割路径，形成一个单词格图（segment1，segment2，segment...

2021-02-25 15:05:36 1442 12

原创 NumNet

NumNet: Machine Reading Comprehension with Numerical Reasoning https://arxiv.org/abs/1910.06701 https://github.com/ranqiu92/NumNet1.Motivation将数值推理集成到机器阅读理解模型中。两个关键因素：数值比较：问题的答案可以通过在文档中进行数值比较，如排序和比较，直接获得。例如，在表1中，对于第一个问题，如果MRC系统知道...

2021-02-24 20:03:14 480

原创 TextING

Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks https://github.com/CRIPAC-DIG/TextING1. Motivation现有的基于graph的工作既不能捕捉每个文档中的上下文单词关系，也不能实现新单词的归纳学习。2. 介绍基于图的方法有两个主要缺点。首先，忽略了每个文档中上下文相关的单词关系。具体来说，TextGCN ...

2021-02-20 22:31:25 2355

原创 Poly-encoders（2020 ICLR）

Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring 非官方github ： https://github.com/chijames/Poly-Encoder1.摘要Cross - encoder 对句子对进行完全self-attention ，Bi - encoder分别对句子对进行编码。前者往往性能更好，但实际使用起来太慢。在..

2021-02-03 14:55:09 2357

原创 Question Directed Graph Attention Network for Numerical Reasoning over Text

Question Directed Graph Attention Network for Numerical Reasoning over Text摘要对文本进行数字推理，如加法、减法、排序和计数，是一项具有挑战性的机器阅读理解任务，因为它需要自然语言理解和算术计算。为了应对这一挑战，作者提出了一种异构图表示，用于这种推理所需的文章和问题的上下文，并设计了一个问题导向图注意网络来驱动该上下文图上的多步数值推理。介绍作者认为QANET和NumNet对于复杂的数值推理是不够的，因为它们缺少数值...

2021-02-02 13:24:14 1133

原创 K-BERT

K-BERT: Enabling Language Representation with Knowledge Graph https://github.com/autoliuweijie/K-BERT.Motivayion弥补语言模型缺乏领域知识的弊端摘要预先训练的语言表示模型，如BERT，从大规模语料库中获取一般的语言表示，但缺乏特定领域的知识。阅读一篇领域文本时，专家用相关知识进行推理。为了使机器能够实现这一功能，作者提出了一种基于知识的语言表示模型，其中三元组作为领域知识注入到句...

2021-02-01 13:03:40 647 1

qq_43390809的博客