ACL2021 | 探讨跨句事件联合抽取问题

点击下面卡片，关注我呀，每天给你送来AI技术干货！

论文题目：MLBiNet: A Cross-Sentence Collective Event Detection Network

本文作者：娄东方、廖智霖、邓淑敏、张宁豫、陈华钧（浙江大学）

接收会议：ACL 2021

论文链接：https://arxiv.org/pdf/2105.09458.pdf

开源代码：https://github.com/zjunlp/DocED

来自：浙大KG

引言

跨句事件抽取旨在研究如何同时识别篇章内多个事件。我们提出多层双向网络MLBiNet（Multi-Layer Bidirectional Network）融合跨句语义和关联事件信息，从而增强内各事件提及的判别。首先，为建模句子内部事件关系，我们提出双向解码器用于同时捕捉前向和后向事件依赖；然后，我们利用信息聚合器汇总句子语义和事件提及信息；最后，通过迭代多个由双向解码器和信息聚合器构造的单元，并在每一层传递邻近句子的汇总信息，最终感知到整个文档的语义和事件提及信息。实验表明，跨句语义信息和事件依赖关系对事件抽取有效，我们的方法在ACE05数据集上取得最优表现。

一、前言

事件抽取包括事件触发词检测（识别事件触发词，并明确所触发事件的类型）和属性抽取（识别触发事件的属性，并标注各属性对应角色）两个子任务。例如，“He died in hospital”中“died”作为一个Die类型事件的触发词，该事件中，属性“He”的角色为Person, “hospital”的角色为Place. 本文主要探讨事件触发词检测任务中的跨句触发词联合抽取问题。

图1  ACE05样例

当下，事件触发词检测任务面临的挑战主要包括：（1）句子上下文表示及篇章级信息整合[1],[2]。候选触发词类型的判定一般需要结合上下文信息，包括关联实体信息（类型等）、其他候选触发词等。例如，图1中句子3中的“firing”可能是开枪（触发Attack事件）或离职（触发End_Position事件），Attack事件的确立需要融合句子2,4等的信息。（2）句内和句间事件关联性建模[1],[3]。句4包含事件触发词fight和death，ACE05数据集中超过40%触发词如此共现；类似句2、句3和句4中的连续关联事件同样普遍。因此，建模事件之间依赖对于同时抽取句子、跨句多事件尤为重要。

现有方法主要专注于句子级事件抽取，忽略了存在于其他句子中的信息。通过对事件抽取benchmark数据集ACE05的分析，我们得出如下结论。（1）可将事件触发词检测任务视为一个Seq2Seq任务，其中，source序列为文本篇章或句子，target序列是事件标签序列。对应基于RNN的encoder-decoder框架能有效处理该类问题，其中encoder建模丰富的上下文语义信息，decoder在解码过程中捕捉标签的依赖性。（2）对于当前句子，与之关联最密切的信息主要存在于邻近句子，相距较远的文本影响较小。

基于上述现象和结论，我们提出基于encoder-decoder框架的多层双向网络MLBiNet，尝试融合跨句语义和事件信息以提升事件触发词检测效果。

二、方法

模型包括四部分：语义编码器、双向解码器、信息整合层、多层双向打标器等。其中，语义编码层由BiLSTM和自注意力机制构成；双向解码层融合前向解码和后向解码，有助于捕捉双向事件依赖关系；信息整合层基于简单LSTM结构整合句子内部事件标签信息和语义信息；多层双向打标器则逐层传递邻近句子信息，最终捕捉更大邻域范围内的语义和事件信息，进而实现跨句事件联合抽取。

具体而言，双向解码器（给定输入文本，target序列的长度已知，它与输入文本等长）表达如下：

其中，编码器和解码器定义为

对于多层双向打标器，它的结构主要约束包括：（1）信息传递只发生在相邻句子间；（2）当前句子中的所有token可见跨句信息是相同的；（3）随着层数增加，较远距离的句子信息可被当前句子获取到；（4）每层的双向打标器都由一个双向解码器和一个信息整合层构成。对于第k层事件标签向量信息计算方法为：

其中，   表示邻近句子在上一层中整合得到的信息。最终事件标签向量   .

三、实验

我们在ACE05数据集上进行了试验，如下两个表所示，我们的方法在不同维度都能取得较好的效果。双向解码器有效，它在1层时较之于HBTNGMA更优；跨句信息整合有意义，多层网络下，我们的方法在单事件句子和多事件句子的抽取效果都得到提升。

模块剖析进一步了验证双向解码器和信息整合层的作用。具体而言，双向解码器较之于单向方法显著更优；层数增加情况下，不同解码机制下的效果都能得到提升；不同信息整合机制也能引起一定表现变动。

四、总结与展望

在本文中，我们提出了一种跨句事件触发词联合识别方法MLBiNet，它能同时实现篇章信息整合和跨句事件依赖建模，最终实验证明该方法能有效提升事件触发词识别效果。接下来，我们可尝试将该方法的推广到其他篇章级信息抽取任务（Docred, NER等），整合跨句语义信息，并建模标签关系。

[1] Collective event detection via a hierarchical and bias tagging networks with gated multi-level attention mechanisms. EMNLP2018

[2] Document embedding enhanced event detection with hierarchical and supervised attention. ACL2018

[3] Jointly multiple events extraction via attention-based graph information aggregation. EMNLP2018

[4] Event extraction via dynamic multi-pooling convolutional neural networks. ACL2015

[5] Edge-enhanced graph convolution networks for event detection with syntactic relation. EMNLP2020

[6] Meta-learning with dynamic-memory-based prototypical network for few-shot event detection. WSDM2020

[7] Event extraction as multi-turn question answering. EMNLP2020

[8] A joint neural model for information extraction with global features. ACL2020

[9] Exploiting the ground-truth: An adversarial imitation based knowledge distillation approach for event detection. AAAI2019

[10] Exploiting argument information to improve event detection via supervised attention mechanisms. ACL2017

[11] Graph convolutional networks with argument-aware pooling for event detection. AAAI2018

[12] Event detection with multi-order graph convolution and aggregated attention. EMNLP2019

[13] Ontoed: Low-resource event detection with ontology embedding. ACL2021

[14] Docred: A large-scale document-level relation extraction dataset. ACL2019

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！