【文献阅读笔记】03-用于实体关系联合抽取的关系图模型

1 Introduction

1.1 实体关系联合抽取

  实体关系抽取任务：提取具有语义关系的实体对，即三元组； 是信息提取的中心任务，需要从非结构化文本自动构建知识 。

实体关系抽取目前两种常见解决方案

Pipeline：早期的信息抽取将实体抽取和关系抽取看作两个独立的任务，这样的串联模型在建模上相对更简单。但这将实体识别和关系抽取当作两个独立的任务会导致一些问题：比如误差积累、实体冗余、关系重叠问题等等 。

联合抽取：对实体抽取和关系分类联合建模，能够利用实体和关系之间的交互信息，同时抽取实体并分类实体对的关系，可以很好地解决流水线方法所存在的问题。

三个关键方面仍需要在统一框架中进行全面处理：
实体识别和关系提取的端到端联合建模
对实体重叠关系的预测
考虑关系之间的相互作用

1.2 文章工作

这篇文章提出了一个端到端的联合模型 GraphRel：
对实体和关系进行端到端的联合建模，自动提取特征
仔细考虑实体与关系之间的相互作用，提出了带权重的GCN模型
对关系重叠问题进行了分析

在两个公共关系提取数据集上评估该方法：NYT和WebNLG。
实验结果表明，GraphRel与以前的工作相比大大改善了实体重叠问题，并且在两个数据集上都达到了SOTA。

方法优势：
是第一个对前文提到的三个关键问题兼顾的模型：
它对实体和关系进行端到端的联合建模，通过 Bi-LSTM 和 GCN 来自动学习文本特征，同时模型提出了 带有关系权重的 GCN，有效地考虑关系之间的相互作用 和 关系重叠问题。
模型 在 NYT数据集 和 WebNLG数据集 均上取得了很高的性能，与以前的工作相比大大改善了实体重叠问题。

2 GraphRel

2.1模型框架

1st-phase Prediction:
Bi-LSTM提取顺序特征，Bi-GCN提取位置依赖性特征
基于提取的单词特征，预测实体与每个单词对之间的关系

2nd-phase Prediction:
考虑命名实体和关系之间的影响、文本所有词对之间的隐含特征，
用一种新的关系加权GCN进行进一步提取

2.2 1st-phase Prediction

在第一阶段，模型通过Bi-LSTM提取文本的顺序特征，它的输由每个词的单词嵌入和词性嵌入组成，由于原始的输入是一个序列，没有内在的图结构，于是使用依赖解析器为输入句创建一个依赖树，使用这个依赖树作为输入句子的邻接矩阵，再使用双向GCN提取位置依赖特征。

利用从bi-LSTM和bi-GCN中提取的词特征，来预测词的实体，并提取每对 单词之间的关系，文章根据提取出的单词特征 对所有单词进行预测。

对于关系提取，文章删除了依赖边并对所有的词对进行预测。对于每个关系$r$，模型学习了 三个权重矩阵​，并计算了关系倾向分数$S$，通过softmax将分数转化为关系的概率。

2.3 2nd-phase Prediction:

在第一阶段提取的实体和关系并不考虑彼此的相互作用，为了考虑命名实体和关系之间的相互作用，同时还要考虑 文本中所有单词对之间的隐含特征，模型提出了第二阶段的预测：

首先为每个关系$r$依据第一阶段计算出的单词间的关系概率作为边权构建一个完整的关系图，然后对其中每一个图用都利用双向-GCN，利用不同关系的不同影响程度的聚合 作为词的综合特征 。它考虑了关系权重的传递，从每个词中提取出更充足的隐藏信息，最后对得到的新特征再进行一次实体识别和关系分类。

2.4 Training Detail & Inference

实体识别：（交叉熵分类损失：eloss）
标签：(Begin, Inside, End, Single, Out)

关系抽取：（交叉熵分类损失：rloss）
关系是word-pair-base的：

<Barack Obama, has president, United States >
United与Barack和Obama都有“Has President”的关系
States与Barack和Obama都有“Has President”的关系

Inference: Threshold prediction
entity1 有n个单词，entity2有m个单词，存在关系R
标准结果：nm 个单词对存在关系R
预测结果：r个单词对间存在关系R，因此匹配程度为r/(nm)
若r/(n*m) > θ，则认为匹配成功

3 实验

4 结论

本文中提出了GraphRel，一种基于图卷积网络（GCN）共同学习命名实体和关系的端到端关系提取模型。

将LSTM和GCN结合起来提取每个单词的顺序特征和位置依赖特征，也考虑了文本中所有单词对之间的隐含特征；通过预测每个单词对的关系，解决实体重叠的问题。

提出一种新颖的关系加权GCN，考虑了命名实体与关系之间的相互作用。

在NYT和WebNLG数据集上评估提出的方法。 结果表明，此方法比以前的工作分别提高了3.2％和5.8％，并实现了关系提取的SOTA。

文章链接
GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction