论文笔记 ACL Findings 2021|CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event

125 篇文章 14 订阅

1 简介

论文题目:CasEE: A Joint Learning Framework with Cascade Decoding for Overlapping Event Extraction
论文来源:ACL Findings 2021
论文链接:https://arxiv.org/pdf/2107.01583.pdf
代码链接:https://github.com/JiaweiSheng/CasEE

1.1 创新

  • 提出CasEE模型,解决事件抽取中的重叠问题,在中文金融事件抽取数据集FewFC中取得不错的效果。

2 背景知识

将事件抽取中的重叠问题分为下列三类:

  1. 一个单词在不同事件中充当不同的触发词
  2. 一个单词在不同事件中充当不同的论元
  3. 一个单词在同一个事件中充当不同的论元

在中文金融事件抽取数据集FewFC中,有13.5%/21.7%的句子有重叠的触发词/论元。

3 方法

在这里插入图片描述

模型的整体框架如上图所示,分为下面4个部分:

  1. BERT编码
  2. 类型检测解码:使用attention检测事件类型,选择 c ^ > ξ 1 \widehat{c}>{\xi}_1 c >ξ1(阈值)的作为结果,公式如下:
    在这里插入图片描述

在这里插入图片描述
3. 触发词抽取解码:使用conditional layer normalization (CLN)(作为下图的 ϕ \phi ϕ函数)融合条件信息和上下文表示,然后通过attention改进触发词的上下文表示。然后对每一个token,预测触发词的开始和结束。选择 t ^ i s c > ξ 2 \widehat{t}_i^{sc}>{\xi}_2 t isc>ξ2的token作为开始位置, t ^ i e c > ξ 3 \widehat{t}_i^{ec}>{\xi}_3 t iec>ξ3的token作为结束位置。遍历全部的开始位置,选择最近的结束位置生成一个触发词。公式如下:
在这里插入图片描述
Conditional Layer Normalization(CLN)为在 γ c {\gamma}_c γc β c {\beta}_c βc中加入条件信息(转换为相同维度)。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4. 论元抽取解码:前面与触发词抽取阶段类似,得到token表示 Z c t ′ Z^{ct'} Zct,然后和触发词的位置拼接,然后预测论元的开始和结束位置,其中定义指示函数 I ( r , c ) I(r,c) I(r,c),检测角色r是否属于事件c,公式如下。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

整个模型的loss函数如下:
在这里插入图片描述

4 实验

在FewFC数据集的实验结果如下图:
在这里插入图片描述
在有重叠问题和没有重叠问题的句子的实验结果如下:
在这里插入图片描述
不同类型检测解码的实验结果如下:
在这里插入图片描述
触发词解码的变体实验结果如下:
在这里插入图片描述
论元解码的变体实验如下:
在这里插入图片描述

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hlee-top

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值