Graph Neural Networks with Generated Parameters for Relation Extraction 论文阅读

1. 创新点
   图神经网络大多只能在一些预定义好的图上进行推理，但是不能直接应用到自然语言处理任务中去，本文提出的GP_GNN可以直接应用到非结构化的自然语言中。
   预定义的图如下：

而我们想要在这样的文本序列中进行关系的多跳推理和抽取

2. 模型架构
传统的图神经网络一般会显式的定义边，然而在自然语言中没有这样的显式的边存在，因此就认为这是一个全连接图，也就是说每个单词都会和句子中的其他单词有联系。这些联系就用边的权重矩阵表示，这个权重矩阵不是通过随机初始化再进行反向传播得来的，而是通过句子中单词的向量变换生成而来的。

单词向量的构造 是由两个部分拼接而成，一是预训练的词向量，而是位置编码，
此处位置编码是一个3×d的矩阵，单词的位置可以分成三类，属于主体，属于客体，两者都不属于，通过映射得到单词的位置编码。
下式是模型的传播模块，通过聚合邻域节点的信息得到自身的表示，此处的邻域由A来决定
传播模块中的A来自编码模块
每一层的节点表示就是通过当前节点的邻居节点聚合表示得来的。

第一层的构造，对于主体和客体会给一个标记，以便最后进行关系抽取时使用。
分类模块
最后将主体和客体进行

3. 数据集
   预训练 词向量的样例
   

利用维基百科标注实体和关系，并使用Stanford CoreNLP 和 HeadTime抽取实体和时间。针对一个实体对之间存在多个关系的情况过滤，针对一个句子之间的实体少于3个的情况过滤。

数据集样例
{"tokens": ["As", "an", "individual", "Supreme", "Court", "Justice", ",", "Bradley", "decided", "In", "re", "Guiteau", ",", "a", "petition", "for", "habeas", "corpus", "filed", "on", "behalf", "of", "Charles", "Guiteau", ",", "the", "assassin", "of", "President", "James", "A.", "Garfield", "."], "vertexSet": [{"kbID": "Q11696", "lexicalInput": "President", "namedEntity": true, "tokenpositions": [28], "numericalValue": 0.0, "variable": false, "unique": false, "type": "LEXICAL"}, {"kbID": "Q34597", "lexicalInput": "James A. Garfield", "namedEntity": true, "tokenpositions": [29, 30, 31], "numericalValue": 0.0, "variable": false, "unique": false, "type": "LEXICAL"}, {"kbID": "Q364232", "lexicalInput": "Charles Guiteau", "namedEntity": false, "tokenpositions": [22, 23], "pos": "NP", "numericalValue": 0.0, "variable": false, "unique": false, "type": "LEXICAL"}], "edgeSet": [{"kbID": "P0", "right": [22, 23], "left": [28]}, {"kbID": "P0", "right": [29, 30, 31], "left": [28]}, {"kbID": "P157", "right": [22, 23], "left": [29, 30, 31]}]}