GraphRel：Modeling Text as Relation Graphs for Joint Entity and Relation Extraction GraphRel

Abstract

本文基于图卷积进行联合实体关系抽取，通过关系加权的GCN来考虑NER和关系之间的作用。利用线性和依赖结构提取文本的序列特征和区域特征，利用完整的词图提取文本多有词对之间的隐含特征。

Model

GCN对相邻节点的特征进行卷积，并将节点的信息传播给最近的邻居，如图所示，通过对GCN进行叠加，可以提取每个节点的区域特征
本文的模型GraphRel如图2所示，包括两个阶段。

1. 第一阶段：采用bi-lstm和gcn同时提取序列依赖性和区域依赖性词特征，给定word特征，预测每个单词对之间的关系和所有word的实体。
   1. 对于每个word，结合词嵌入和词性嵌入作为输入：$h_u=[Word(u);POS(u)]$
   2. 通过glove初始化词嵌入，POS嵌入随机初始化，然后通过BiLSTM学习表示
   3. 使用依赖解析器创建邻接矩阵，使用GCN提取区域依赖特征
   4. 通过$score(w_1,r_{w}2)=W_r\sigma ([W_r^1{h}_{w1};W_r^2{h}_{w2}])$计算关系得分，其中$w_1,w_2$指的是单词对，有先后之分（subject、object）
   5. $Pr(w_1,w_2)=\text{softmax}(score(w_1,r,w_2))$即为两者关系的得分概率
2. 第二阶段：基于第一阶段的关系，为每个关系构建完整的关系图，然后应用GCN整个每个关系，进一步考虑实体和关系之间的交互。
   • 第一阶段没有考虑实体和关系之间的相互作用，因此为了考虑文本中所有word pair 之间的隐式特征，本文提出了一种新的第二阶段关系加权GCN
   • 基于第一阶段预测的关系，本文为每个关系构建完整的关系图
     
   • 对于每个关系，将$Pr(w_1,w_2)$作为边的权值，构建关系图（一个关系一个图），并通过GCN学习，能够考虑到关系权重的传递并从每个词中提取充足的信息
   • 对于新提取的特征进行再次分类（NER和关系抽取）

Result

启示

1. 把所有的word pair进行两两匹配，虽然能考虑到所有的关系，但是复杂度太高了，那能否不用图卷积，随便来个模型都考虑两两之间的匹配呢？
2. 实体是怎么预测，论文里没有给出，看了代码才知道是通过LSTM、GCN、LSTM最后经过MLP进行分类的。
3. 这篇总感觉很牵强，没有把我说服。