Abstract
本文基于图卷积进行联合实体关系抽取,通过关系加权的GCN来考虑NER和关系之间的作用。利用线性和依赖结构提取文本的序列特征和区域特征,利用完整的词图提取文本多有词对之间的隐含特征。
Model
GCN对相邻节点的特征进行卷积,并将节点的信息传播给最近的邻居,如图所示,通过对GCN进行叠加,可以提取每个节点的区域特征
本文的模型GraphRel如图2所示,包括两个阶段。
- 第一阶段:采用bi-lstm和gcn同时提取序列依赖性和区域依赖性词特征,给定word特征,预测每个单词对之间的关系和所有word的实体。
- 对于每个word,结合词嵌入和词性嵌入作为输入: h u = [ W o r d ( u ) ; P O S ( u ) ] h_u=[Word(u);POS(u)] hu=[Word(u);POS(u)]
- 通过glove初始化词嵌入,POS嵌入随机初始化,然后通过BiLSTM学习表示
- 使用依赖解析器创建邻接矩阵,使用GCN提取区域依赖特征
- 通过 s c o r e ( w 1 , r w 2 ) = W r σ ( [ W r 1 h w 1 ; W r 2 h w 2 ] ) score(w_1,r_w2)=W_r\sigma([W_r^1h_{w1};W_r^2h_{w2}]) score(w1,rw2)=Wrσ([Wr1hw1;Wr2hw2])计算关系得分,其中 w 1 , w 2 w_1,w_2 w1,w2指的是单词对,有先后之分(subject、object)
- P r ( w 1 , w 2 ) = softmax ( s c o r e ( w 1 , r , w 2 ) ) Pr(w_1,w_2)=\text{softmax}(score(w_1,r,w_2)) Pr(w1,w2)=softmax(score(w1,r,w2))即为两者关系的得分概率
- 第二阶段:基于第一阶段的关系,为每个关系构建完整的关系图,然后应用GCN整个每个关系,进一步考虑实体和关系之间的交互。
- 第一阶段没有考虑实体和关系之间的相互作用,因此为了考虑文本中所有word pair 之间的隐式特征,本文提出了一种新的第二阶段关系加权GCN
- 基于第一阶段预测的关系,本文为每个关系构建完整的关系图
- 对于每个关系,将 P r ( w 1 , w 2 ) Pr(w_1,w_2) Pr(w1,w2)作为边的权值,构建关系图(一个关系一个图),并通过GCN学习,能够考虑到关系权重的传递并从每个词中提取充足的信息
- 对于新提取的特征进行再次分类(NER和关系抽取)
Result
启示
- 把所有的word pair进行两两匹配,虽然能考虑到所有的关系,但是复杂度太高了,那能否不用图卷积,随便来个模型都考虑两两之间的匹配呢?
- 实体是怎么预测,论文里没有给出,看了代码才知道是通过LSTM、GCN、LSTM最后经过MLP进行分类的。
- 这篇总感觉很牵强,没有把我说服。