论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取

论文笔记整理：王狄烽，南京大学硕士，研究方向为关系抽取、知识库补全。

---

链接：https://arxiv.org/pdf/1903.01306.pdf

发表会议：NAACL2019

动机

现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪，从而提升模型效果，而忽略了长尾关系的抽取，使得长尾关系抽取效果极差。但是长尾关系的存在是不可忽略的，在NYT数据集中，大约70%的关系属于长尾关系（即该关系训练实例数量较少，少于1000）。如何提高模型对长尾关系抽取效果是该篇论文主要出发点。

贡献

该篇论文的主要贡献如下：

1、提出了一种长尾关系远程监督抽取的模型；

2、联合使用KG embeddings 和 GCNs 来学习关系丰富的语义信息；

3、利用coarse-to-fine knowledge-aware mechanism 来利用关系语义信息；

4、在NYT数据集上的结果表明当前模型在长尾关系的抽取上取得了state-of-the-art的效果。

方法

在方法整体思路上，遵从前人工作，利用语义相近的head关系，辅助训练长尾关系，从而缩小关系抽取时潜在的搜索空间、减少关系之间的不确定性。该思路的两个要点在于：1、如何学习得到关系语义信息；2、如何利用学习得到的关系语义信息。

对于如何学习得到关系语义信息，该论文首先利用现有的KG embeddings方法（如TransE等）学习得到关系的隐式语义信息，但是因为TransE等模型无法有效建模关系的一对多、多对多情况，从而仅仅通过KG embedding方法无法有效获取关系的语义信息。因此，论文中使用图卷积网络（GCNs）从关系的层次结构中获取关系的显式语义信息。最后将关系的隐式语义信息和显式语义信息进行结合从而得到最终的关系语义信息表示。

对于如何利用学习得到的关系语义信息，该论文首先利用CNN将句子编码为低维向量，然后使用 coarse-to-fine knowledge-aware mechanism 从多个同实体对句子（多实例学习）加权得到最终的句子向量表示。

模型的框架图如下所示：

从模型框架图中可以看出