论文笔记

Entity, Relation, and Event Extraction with Contextualized Span Representations

---

作者：陈宇飞

单位：燕山大学

---

论文地址：https://www.aclweb.org/anthology/D19-1585/

论文代码： https://github.com/dwadden/dygiepp

---

一、摘要

  本文构建了一个针对信息提取任务中的命名实体识别、关系提取和事件提取的统一多任务框架。该框架通过枚举、精炼和评分文本范围来完成所有任务，这些方法旨在捕获局部(句子内)和全局(跨句子)的上下文信息。在ACE05、SciERC、GENIA、WLPC这四个不同领域的数据集中取得了最高的排名。

二、引言

  在许多的信息抽取任务中，跨句子的全局上下文或者短语之间都会存在一定的联系依赖，可以从中获益。例如，共指关系可以提供相关信息，帮助推理那些难以分类的实体的类型。在事件提取任务中，句子中的实体知识可以为预测事件触发提供有用的信息。最近，端到端的系统通过动态的构造spans图，模型获得了很好的性能。同时，语境语言模型在自然语言处理任务上取得了成功。例如，Bert模型可以通过transformer架构来获取上下文中token之间的关系。
  本文中提出的框架叫做DYGIE++框架（如下图所示），该框架枚举候选文本跨度，并且结合使用上下文语言模型和文本跨度图传递的某一特定任务进行信息更新，来对这些候选文本跨度进行编码。
  本文在命名实体识别、关系、事件抽取任务上进行了分析总结，得出的结论如下：
（1）该框架在四个数据集的所有任务（除一个子任务外）获得了最好成绩；
（2）Bert模型可以捕获重要的内部和相邻的句子上下文信息，可以通过增加上下文句子数来提高性能；
（3）通过消息传递更新的上下文编码使该模型能够结合跨句依赖，从而提高Bert的性能，特别是在专业领域的工业工程任务中。

三、任务和模型

3.1 任务定义

  把输入的文档表示为一系列$token$ $D$，然后使用该框架构建spans S={ $s_1,......s_T$}，其中S表示句子中所有可能的短语的集合。
  任务定义：
  （1）命名实体识别任务是预测每个span $s_i$最佳实体标签类型$e_i$，在所有任务中，最好的标签可能是“null”标签。
  （2）事件抽取任务通过给每个token $d_i$ 分配一个标签 $t_{}$