1 简介
论文题目:CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction
论文来源:ACL Findings 2021
论文链接:https://arxiv.org/pdf/2107.01583.pdf
代码链接:https://github.com/JiaweiSheng/CasEE
1.1 创新
- 提出CasEE模型,解决事件抽取中的重叠问题,在中文金融事件抽取数据集FewFC中取得不错的效果。
2 背景知识
将事件抽取中的重叠问题分为下列三类:
- 一个单词在不同事件中充当不同的触发词
- 一个单词在不同事件中充当不同的论元
- 一个单词在同一个事件中充当不同的论元
在中文金融事件抽取数据集FewFC中,有13.5%/21.7%的句子有重叠的触发词/论元。
3 方法
模型的整体框架如上图所示,分为下面4个部分:
- BERT编码
- 类型检测解码:使用attention检测事件类型,选择
c
^
>
ξ
1
\widehat{c}>{\xi}_1
c
>ξ1(阈值)的作为结果,公式如下:
3. 触发词抽取解码:使用conditional layer normalization (CLN)(作为下图的
ϕ
\phi
ϕ函数)融合条件信息和上下文表示,然后通过attention改进触发词的上下文表示。然后对每一个token,预测触发词的开始和结束。选择
t
^
i
s
c
>
ξ
2
\widehat{t}_i^{sc}>{\xi}_2
t
isc>ξ2的token作为开始位置,
t
^
i
e
c
>
ξ
3
\widehat{t}_i^{ec}>{\xi}_3
t
iec>ξ3的token作为结束位置。遍历全部的开始位置,选择最近的结束位置生成一个触发词。公式如下:
Conditional Layer Normalization(CLN)为在
γ
c
{\gamma}_c
γc和
β
c
{\beta}_c
βc中加入条件信息(转换为相同维度)。
4. 论元抽取解码:前面与触发词抽取阶段类似,得到token表示
Z
c
t
′
Z^{ct'}
Zct′,然后和触发词的位置拼接,然后预测论元的开始和结束位置,其中定义指示函数
I
(
r
,
c
)
I(r,c)
I(r,c),检测角色r是否属于事件c,公式如下。
整个模型的loss函数如下:
4 实验
在FewFC数据集的实验结果如下图:
在有重叠问题和没有重叠问题的句子的实验结果如下:
不同类型检测解码的实验结果如下:
触发词解码的变体实验结果如下:
论元解码的变体实验如下: