论文笔记 ACL 2021|MLBiNet: A Cross-Sentence Collective Event Detection Network

1 简介

论文题目：MLBiNet: A Cross-Sentence Collective Event Detection Network
论文来源：ACL 2021
论文链接：https://arxiv.org/pdf/2105.09458.pdf
代码链接：https://github.com/zjunlp/DocED

1.1 创新

• 提出一个多层的模型(MLBiNet)同时传递文档级别的语义信息和事件之间的依赖信息，用于事件检测任务。

2 方法

模型的整体框架如上图，共分为下面四个部分：

1. 语义编码：该层通过双向LSTM和注意力机制得到句子级的语义表示。$x_t=[h_t^a;e_t]$ 其中$h_t^a$为双向LSTM和注意力机制的结果，$e_t$为词编码和NER类型编码的拼接。具体公式如下：
   
   $$h_t^a=\sum _{j=1}^{n_i}{a}_{t,j}{h}_j$$
2. 双向解码：此部分通过双向LSTM捕捉句子中的事件依赖关系。具体公式如下，其中$y_t$为事件标签向量。
   
   
3. 信息集成模块：该部分通过LSTM聚集句子级别的信息，使用LSTM的最后一个单元状态表示。具体公式如下：
   
4. 多层双向标注层：该部分聚集临近句子和句子内的信息。对于句子$s_i$，第k层的输出计算公式如下：(加入了上一层临近句子的信息)
   

双向解码和信息集成模块的参数共享。
Loss函数如下：

3 实验

在ACE 2005数据集上的实验结果如下图：

一个句子中包含不同数量事件的实验结果如下：

不同类型解码层的结果：

不同信息集成方法的结果：

4 总结

• 将Seq2Seq的思想运用到序列标注任务中，同时捕捉了文档级别的语义信息和事件之间的依赖信息。