Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文阅读记录

Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文阅读记录

模型结构：

文章总结：在本文中，我们通过使用实体信息丰富预训练的BERT模型，开发了一种关系分类方法。我们向每个目标实体对添加特殊的单独标记，并利用句子向量以及目标实体向量进行分类。我们在SemEval-2010基准数据集上进行了实验，我们的结果大大优于最新方法。

BERT-NO-SEP-NO-ENT：即抛弃了标记目标实体位置的特殊标记又抛弃了输出层目标实体向量的连接。
BERT-NO-SEP：抛弃了标记目标实体位置的特殊标记，保留了输出层目标实体向量的连接。
BERT-NO-ENT：抛弃了输出层目标实体向量的连接 ，保留了标记目标实体位置的特殊标记。

结果证明：在关系分类中，关系标签既取决于句子的语义，又取决于两个目标实体。