（阅读笔记）PARE：A Simple and Strong Baseline for Monolingual and MultilingualDistantly Supervis

来源：2022.ACL PARE：用于单语和多语远程监督关系提取的简单而强大的基线

模型的优势：

1、模型简单；

2、每个token都可以和句子中的其他token交换信息（包内句子交换信息，充分利用包中的信息）；

3、能够放宽至少一个假设的一部分，例如：包中没有一个句子单独表达了当前句袋的关系，但可能存在包中多个实例共同预测了该种关系的情况，该模型可以由此学会提取这种关系。

模型

首先通过连接句袋 B(e1, e2) 中的所有句子来构造一个段落 P (e1, e2)。然后，再通过 BERT (Devlin et al, 2019)（或用于多语言设置的 mBERT）对整个段落进行编码。由此生成包中每个token的上下文嵌入。为了让这些嵌入感知候选关系，采用训练过的关系查询向量 r，通过注意力生成整个段落的关系感知summary。然后用它来预测 (e1, r, e2) 是否是一个有效的预测。