想法
最近在整理dee相关的文章,这里做一些整理,方便后续查阅。本文主要介绍3篇DEE相关的文章,主要想介绍核心的动机和创新点,对于细节,可以参看一下几个链接:
https://blog.csdn.net/u011150266/article/details/118079286
Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker
https://blog.csdn.net/o11oo11o/article/details/121583659
Document-level Event Extraction via Parallel Prediction Networks
https://blog.csdn.net/o11oo11o/article/details/120080908
Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event
其中 doc2EDAG 是开山之作,另外2篇是在doc2edag基础上做的一些优化和提升。
论文和核心创新点
动机 (dee vs see)
arguments-scattering and multi-events.
相对于句子级别的事件抽取,篇章级别事件抽取的主要问题是 论元分散,一篇文章多个事件(多标签现象)。
创新点
doc2EDAG
个人认为的主要价值:第一次运用篇章级事件抽取并取得sota效果。
核心思路:运用transformer进行篇章级句子、实体encoding,并设计将事件、实体表格表转换成edag生成和预测过程。
主要贡献: 第一次考虑document-level,第一次设计一个完整的方案且取得当时的sota效果。
DEE-PPN Document-level Event Extraction via Parallel Prediction Networks
核心思路: 和doc2edag框架雷同,红框是差异性的地方。效果比doc2edag好。主要差异点是使用了多粒度的decoder,分别对实体、事件role 进行decoder,再综合decoder,最后接入下游预测任务,同时引用matching loss(很偏数学优化,还没看懂),对最终预测m个事件,实际k个事件这种任务进行优化,论文中说可以达到全局最优。
DEE-GIT Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker
核心思路:也是encoder-decoder的框架。个人认为核心点是在encoder中引入了图谱相关的信息,并进行graph-embeding用于后续的Types Detection and Records Extraction。这里引入的图结构是:node:句子和实体 边:句子1-句子2 、句子1-实体1、实体1-实体2(同一句话 Inter-Mention-Mention Edge)、实体1-实体1(不同句话出现的相同实体 Inter-Mention-Mention Edge)。
整体思路清晰,创新性的融合了图结构信息进入模型,让系统能更好的学习句子实体间的关系,但是疑问在于这种信息是否在强大的注意力机制里已经学习到了?这种图的embed相对transformer刻画的embed真的是一种补充还是多余?在消融实验中已经有答案说,去掉图整体会掉2个点的指标,但还是怀疑图在这里是否真的能起到极其重要的作用?或者这个图embed刚好和当前的任务比较匹配,通过图embed刚好学习到了这一特性?
待后续看代码做完实验再进行论证。
代码分析
三篇论文都是基于doc2edag代码进行设计的。
暂时可以考虑先参看GIT代码进行后续的详细分析。
效果对比
dee-pnn
dee-git
GIT整体效果和pnn接近
但是没有实体识别的效果 edd任务核心是识别事件类型 和识别argument
ace 事件检测
个人看法
待更新