BERT在关系学习中的应用

Matching the Blanks: Distributional Similarity for Relation Learning（2019 ACL）

 

典型的关系抽取可以大致分为以下三类：

• 第一类有监督或者远程监督的关系抽取，该类方法通过有限的模式去学习文本到关系之间的映射关系。
• 第二类为开放领域的关系抽取，该类方法消除了预定义模式的限制。
• 第三类为泛化能力较强的通用模式，该类方法既包含文本的多样性又包含关系的简洁性。

 

该论文主要依据关系的分布式假设，提出了一种直接从文本中学习关系表示的新方法。本文的主要贡献有以下两个方面：

• 该模型主要基于Transformer结构对实体对之间的关系进行编码。
• 该模型训练表示关系不需要任何的有监督数据或者是人类标注数据，只通过matching the blanks方法来训练模型（句子中的实体被特殊字符[BLANK]替换，其目标是使得关系表示相似，如果该文本关系表述中包含相同的实体对）。

Overview

Task definition

本文的目标是学习从文本关系表述到向量关系表示之间的一个映射关系。给定一个序列表示，其中，为其特殊的开始和结束表示符。