[论文阅读笔记11]Entity,Relation,Event Extraction with Contextualized Span Representations

1. 题目

论文题目：Entity, Relation, and Event Extraction with Contextualized Span Representations
论文来源：EMNLP 2019 华盛顿大学, Google AI Language
论文链接：https://www.aclweb.org/anthology/D19-1585/ https://arxiv.org/pdf/1909.03546.pdf
代码链接：https://github.com/dwadden/dygiepp
关键词：命名实体识别，关系抽取，事件抽取，BERT，图传播
与论文《A General Framework for Information Extraction using Dynamic Span Graphs》同样的作者，DYGIE升级版本GYDIE++.

2. 作者

David Wadden† Ulme Wennberg† Yi Luan‡ Hannaneh Hajishirzi†∗

†Paul G.Allen School of Computer Science & Engineering, University of Washington 华盛顿大学
‡Google AI Language
∗Allen Institute for Artificial Intelligence

3. 摘要

提出GYDIE++，并适用实体识别，关系抽取，事件抽取通用框架；
GYDIE++通过列举，细化，评分文本spans来完成了所有任务；这些文本spans旨在获得局部及全局信息；
所有任务state-of-the-art；
实验对比了不同的构建span表示的方法，和上下文相关的方法例如BERT，捕获了同一句子或相邻句子中的实体关系，表现较好。

贡献：
(1) GYDIE++实现的所有任务达state-of-the-art；
(2) BERT编码可以通过捕捉到相邻句子上下文内部重要的信息，通过增加窗口大小获得性能的提升；
(3) 通过信息传递更新上下文信息编码可以使模型把依赖跨句信息包含进去，促使性能超过只使用Bert的情况，尤其在一个专业领域上。

4. 概述

相关技术，开始于pipeline方法，过程信息从句法、语篇等特征的结构化预测，到神经分数函数或以神经框架来构建为指导的模型；发展到联合模型，到现在的end-to-end的动态图，可以通过边来通信来学习。
另外，上下文的信息也很重要，有些模型也超出了句子范围去获取上下文信息，例如Bert就可以做到。
在DYDIE的基础上创建了DYDIE++.是一个延伸：
a. 事件抽取作为一个附加任务跨图连接事件触发器的传播span更新；
b. 创建了多句Bert编码的span表达；

5. 任务与模型

5.1 任务

Named Entity Recognition：预测每个span的类型；
Relation Extraction：预测所有的span对的关系类型；
Coreference Resolution：预测每个span的前项指代实体(antecedent) – auxiliary task[辅助任务]
Event Extraction：预测触发词、事件类型、论元及论元角色

5.2 DYDIE++框架

Token encoding–token编码：通过滑窗的方法，把每个句子附近L个句子送到bert模型中训练作为token表示。 （多句子输入Bert训练获得上下文信息）
Span enumeration-span枚举：把句中的所以span枚举出来，再由token联合起来构成span表示。
Span graph propagation–span图传播：通过三种图传播来更新表示:coreference propagation,relation propagation,event propagation
Multi-task classification–多任务分类：各任务分类器：Entities,Relations,Events

6. 实验

6.1 数据

ACE05, SciERC, GENIA, WLPC

6.2 评价指标

实体命名任务：标签与span都匹配；
关系任务：spand对及其关系类型都匹配；
触发词及论元正确分类：事件类型与事件角色分别正确；

6.3 模型变种

BERT + LSTM：输入Bert嵌入到双向LSTM层，LSTM的参数与具体任务层一起训练；
BERT Finetune：在bert上的微调；

6.4 对比实验

baseline

• DYGIE(对于实体抽取,RE)，DYGIE是基于ELMO之上的动态图，也是可以通过传播来获全局信息的；
• Zhang et al. (2019)（对于事件抽取）：也是基于ELMo之上的，它是依赖反强化学习去让模型聚焦到难检测事件的方法；

6.5 实现细节

AllenNLP，BERT,BertAdam

7. 结果与分析

7.1 State-of-the-art Results

首先是SOA的结果；站在前一次DyGIE研究之上。

7.2 图传播的作用

对于模型中的核心模块图传播究竟有没有用？

Coreference propagation（CorefProp）：对于NER有很好的提升；

Relation propagation (RelProp) ：在NER方面提升是不怎么样的；在关系抽方面有一点提高；

event propagation(EventProp):事件抽取的结果，可以看出最佳的结果没有利用到任何的传播技术。作者认为事件传播没有起到作用是因为触发词和元素间的关系不是对称的。建模元素和触发词间高阶的交互关系作为未来的研究任务。

7.3 跨句上下Bert的好处

作者说当窗口大小设置为3时，各个任务可以取得好的效果. 不过，仔细看，好像提升得并不是太多。

7.4 有限资源下的预训练或微调

fine-tuning BERT 比 pre-train Bertl略好。

7.5 领域预训练的重要性

领域预训练对于任务是有提升的。

7.6 Qualitative Analysis–定性分析

案例分析 。这块内容有点没有看太明白，例如 confusion matrices中，怎么又纠正了错误，怎么又引入了错误？

BERT + LSTM + CorefPropm vs BERT + LSTM ：在44个案例中，CorefPropm纠正一个错误案例；在21个案例中它引入了一个错误；

8. 总结

整个模型下来，是对DyDIE作了扩展加入了事件抽取。研究了跨句的bert预测训练模型，最后，整体任务结果也有好的效果。

感觉这个没有眼前一亮的感觉，或者是由于DYDIE给的惊喜太多？

参考

【1】【论文解读 EMNLP 2019 | DyGIE++】Entity, Relation, and EE with Contextualized Span Representations，https://blog.csdn.net/byn12345/article/details/105656756

附
组成事件的各元素包括: 触发词、事件类型、论元及论元角色。

• 事件触发词：表示事件发生的核心词，多为动词或名词；
• 事件类型：ACE2005 定义了8种事件类型和33种子类型。其中，大多数事件抽取均采用33 种事件类型。事件识别是基于词的34 类(33类事件类型+None) 多元分类任务，角色分类是基于词对的36 类(35类角色类型+None) 多元分类任务；
• 事件论元：事件的参与者，主要由实体、值、时间组成。值是一种非实体的事件参与者，例如工作岗位 ；
• 论元角色：事件论元在事件中充当的角色。共有35类角色，例如，攻击者 、受害者等。

happyprince,https://blog.csdn.net/ld326/article/details/112916178