EMNLP 22 :Retrieval-Augmented Generative Question Answering for Event Argument Extraction

Retrieval-Augmented Generative Question Answering for Event Argument Extraction

任务形式 a retrieval-augmented generative QA model (R-GQA) for event argument extraction.
Introduction
它检索最相似的 QA 对并将其扩充为当前示例上下文的提示,然后将参数解码为答案。我们的方法在各种设置(即完全监督、域迁移和少样本学习)上明显优于先前的方法。最后,我们提出了一种基于聚类的采样策略 (JointEnc),并对不同策略如何影响小样本学习性能进行了全面分析。

文章具体工作:
(1)将事件抽取建模为生成问答任务。在全监督范式下和领域迁移范式下验证效果。
(2)检索相似的demonstration作为prompts,增强prompts表达能力。
(3)研究了模型在不同采样策略(例如随机、基于聚类)的少样本事件提取设置中的行为。(补充:基于聚类的方法主要用于小样本设置中,也就是few shot setting 下的sample strategy,用于构建数据集:首先为每个未标记的示例获取上下文和触发文本的嵌入(第 3-6 行)。然后我们对嵌入进行基于 k_means 的聚类(第 7 行)。最后,我们计算样本在所有集群中的比例9;并将每个集群的相应示例数添加到 Sfew(第 8-12 行)在这里插入图片描述

首先,我们将事件提取作为生成式问答任务的公式使模型能够同时利用问答(利用标签语义)和文本生成,并且不需要进行阈值调整。我们对两种设置进行实验 (1) 全监督设置 3 和 (2) 域转移设置 4。根据经验,我们的方法大大优于以前的方法(提取 QA 和基于模板生成的方法)(贡献 1)

问题及其定义

给定event trigger的前提下,提取event argument roles.
针对每个argument roles,会有具体的问题:
For example, in this example, arg1 (TRANSPORTER):“who is responsible for transport”,
arg2 (PASSENGER):“who is being transported”,
arg3 (VEHICLE):“what is the vehicle used”,
arg4 (ORIGIN):“where the transporting originated”,
arg5 (DESTINATION):“where the transporting is directed”
在这里插入图片描述
** 流程:**

  1. 生成模型和如何构建演示(prompt)以及最终的输入&目标序列;
  2. 训练、解码、后处理细节;以及它们与基于模板生成的模型有何不同。

input的形式:
input context是原始文本,在文本中对event trigger做emphasis操作。
在这里插入图片描述
demonstration的构建:
从demonstration store中检索和问题对最相近的,作为demonstration。(** demonstration score怎么得到的,文章没有过多交代?**)

相似计算采用的S-bert

train

在这里插入图片描述

模型结构

模型结构不太难,看看就不多懂了。
在这里插入图片描述

实验结果

这部分没有整理。
文章比较了fewshot setting下的不同采样策略对于模型性能的影响,得到基于聚类的方式,最佳。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YingJingh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值