ATLOP——基于自适应阈值和局部上下文池化的文档级关系抽取

DOCRE之论文ATLOP学习

1. 论文：《Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling》

2. 来源：2021AAAI

3. 论文动机：

   ①对于文档级关系抽取，一个文档包含多个实体对，需要同时对它们之间的关系进行分类 【语句级RE只包含一对实体对】
   
   ②对于文档级关系抽取，一个实体对可以在与不同关系关联的文档中多次出现【对于句子级RE，每个实体对只能出现一个关系】 
   			   
   ③目前对于文档关系抽取主流的做法是采用基于graph的方法来做，但是很多基于BERT的工作也能够得到很好的结果，并且在基于graph的模型的实验部分，也都证明了BERT以及BERT-like预训练模型的巨大提升，以至于让人怀疑是否有必要引入GNN？作者发现如果只用BERT的话，那么对于不同的entity pair，entity的rep都是一样的，这是一个很大的问题，那是否能够不引入graph的方式来解决这个问题呢？
   

4. 提出方法：①局部上下文池化（localized context pooling)

   解决问题：解决了 所有实体对都使用相同的实体嵌入问题
   方法：使用与当前实体对相关的额外上下文来增强 entity embedding。不是从头开始训练一个new context attention layer ，而是直接将预先训练好的语言模型中的注意头转移到实体级的注意上
   

   ②自适应阈值（adaptive thresholding）

   解决问题：解决了论文动机1、2提出的问题
   方法：替换为先前学习中用于多标签分类的全局阈值，该阈值为可学习的依赖实体的阈值
   

5.数据集：

	DocRED：大规模关系抽取数据集
	CDR和GDA生物医学领域数据集