论文解读 | ERICA: Improving Entity and Relation Understanding for PLM via Contrastive Learning

单 位：燕山大学

作 者： 王 琴

摘要

  预训练语言模型 (PLM) 能在各种下游自然语言处理 (NLP) 任务中表现出卓越的性能。然而，传统的预训练目标并没有明确地对文本中的关系进行建模，但这对于文本理解却至关重要。为了解决这个问题，作者提出了一种新颖的对比学习框架 ERICA，以深入了解文本中的实体及其关系。作者定义了两个新的预训练任务来更好地理解实体和关系：（1）实体判别任务，用于区分给定的头部实体和关系可以推断出哪个尾实体； (2)关系判别任务，在语义上区分两个关系是否接近，这涉及复杂的关系推理。实验结果表明，ERICA 可以改善典型 PLM（BERT 和 RoBERTa）在几种语言理解任务上的性能，包括关系提取、实体类型和问答系统，在低配置的情况下效果更加显著。

1 简介

  传统的预训练目标并没有明确建模关系，但这些关系经常分布在文本中并且对于理解整个文本至关重要。为了解决这个问题，最近的一些研究试图改进 PLM，以更好地理解实体之间的关系。然而，它们主要孤立地关注句内关系，忽略了实体的理解，以及文档层面多个实体之间的交互，其关系理解涉及复杂的推理模式。根据从维基百科中采样的人工注释语料库的统计数据，至少有 40.7% 的关系需要从多个句子中提取。

以图1为例，要理解““Guadalajara is located in Mexico”，需要综合考虑以下线索：
(i) “Mexico”是第 1 句中““Culiacán”所在的国家； (ii) “Culiacán”是第 6 句中位于“Panamerican Highway”上的铁路枢纽； (iii) 从句子 6 能得到“Panamerican Highway”连接“Guadalajara”。从这个例子中，我们可以得到要捕捉文本中的关系主要有两个挑战：

• 1.理解一个实体要综合考虑它与其他实体的关系。在该示例中，出现在句子 1、2、3、5、6 和 7 中的实体“Culiacán”在找出答案方面起着重要作用。要理解“Culiacán”，应该考虑它所有连接的实体以及它们之间的各种关系。
• 2.理解一个关系应该要考虑文本中复杂的推理。例如，要理解示例中的复杂推理链，需要进行多跳推理，即通过前两条线索推断“Panamerican Highway”位于“Mexico”。

  在本文中，作者提出了 ERICA，这是一种通过对比学习提高 PLM 对实体和关系理解能力的新框架，旨在通过综合考虑实体和关系之间的相互作用来更好地捕获文本中的关系。作者定义了两个新的预训练任务：（1）实体判别任务，可以用给定的头实体和关系推断出哪个是尾实体。它通过考虑每个实体与文本中其他实体的关系来提高对每个实体的理解； (2)关系判别任务，从语义上区分两个关系是否接近。通过构建具有文档级远程监督的实体对，以隐式的方式考虑复杂的关系推理链，从而提高对关系的理解。作者还对一系列语言理解任务进行了实验，包括关系提取、实体类型标识和问答系统。实验结果表明，ERICA 提高了典型 PLM（BERT 和 RoBERTa）的性能并优于基线，尤其是在资源低配置时，这表明 ERICA 有效地提高了 PLM 对实体和关系的理解，并捕获了文本内的关系。

2 方法

2.1 预备

  ERICA 利用来自外部知识库的远程监督在大规模未标记语料库上进行训练。 D = {di}^|D|_i=1 表示文档集合，Ei =