【论文阅读】Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

AAAI 2021
源代码

创新

1. 没有引入图结构，而是把上下文embedding融入到实体embedding
2. 提出自适应阈值损失，而非设定死板的全局阈值

编码器

还是使用基础的bert，但是在扔进bert之前，对文档中的实体提及前后加以 * 标记

对于每个实体，因为有好多个提及，把他们编码后的embedding，使用logsumexp pooling，得到实体的embedding表示。

获取一对实体的embedding以后，分别送入线性层，tanh再激活一下，二者一起送入全连接层，用sigmoid计算各个关系的概率。

下面这个公式，作者做了改进，在这里引入了局部上下文embedding，在后面进行介绍。

训练的时候用bce loss，预测的时候，设定了全局阈值，超过就认为存在关系r。

自适应阈值

作者紧接着说，全局阈值不靠谱，因为不同实体对，不同关系，不能一概而论。