论文笔记 ACL 2022|Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Ext

hlee-top

已于 2023-07-11 16:28:21 修改

阅读量98

点赞数

分类专栏： NLP 论文文章标签：事件论元抽取 zero-shot

于 2022-07-24 23:13:56 首次发布

本文链接：https://blog.csdn.net/o11oo11o/article/details/125959831

版权

NLP 同时被 2 个专栏收录

125 篇文章 15 订阅

订阅专栏

论文

125 篇文章 12 订阅

订阅专栏

文章目录

1 简介

论文题目：Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
论文来源：ACL 2022
组织机构：加利福尼亚大学
论文链接：https://aclanthology.org/2022.acl-long.317.pdf
代码链接：https:/github.com/PlusLabNLP/X-Gear

1.1 动机

目前基于生成的事件论元抽取方法中的模板依赖于语言，不能扩展到zero-shot跨语言迁移情景中。
在zero-shot跨语言迁移事件论元抽取任务中，训练和测试时语言存在变化。
在zero-shot跨语言迁移事件论元抽取任务中，生成的输出需要简单地解析到最终的预测。

1.2 创新

提出了一个语言无关的模板，同时使用copy机制更好地适应输入语言的变化，以prompt的方式完成zero-shot跨语言迁移事件论元抽取。

2 方法

在这里插入图片描述
模型的整体框架如上图，为每个事件类型设计语言无关的模板，对于每个事件类型，以html的格式枚举全部可能的角色，如下图(其中([None],<Agent>, </Agent>, <Victim>)向量模型未见过，从零开始学习)，模型的输入为文本和prompt(不包含事件类型)
在这里插入图片描述
模型的输出为替换上图模板中的[None],如果一个角色存在多个论元，则使用[and]连接(如下图)，如果该角色不存在论元，使用[None]表示

输出的概率分布如下式：

由于大部分token出现在输入中，使用copy机制(公式1)，loss为公式2：

3 实验

实验数据集为ACE 2005和ERE，实验中不适用ground truth实体，实验结果如下图：
在这里插入图片描述

消融实验(copy机制的影响)：

消融实验(prompt添加事件类型的影响)：

消融实验(prompt中角色顺序的影响)：

消融实验(prompt中使用英文token的影响)：

错误分析：

约束解码对实验结果的影响：