Retrieval-Augmented Generative Question Answering for Event Argument Extraction
任务形式 a retrieval-augmented generative QA model (R-GQA) for event argument extraction.
Introduction
它检索最相似的 QA 对并将其扩充为当前示例上下文的提示,然后将参数解码为答案。我们的方法在各种设置(即完全监督、域迁移和少样本学习)上明显优于先前的方法。最后,我们提出了一种基于聚类的采样策略 (JointEnc),并对不同策略如何影响小样本学习性能进行了全面分析。
文章具体工作:
(1)将事件抽取建模为生成问答任务。在全监督范式下和领域迁移范式下验证效果。
(2)检索相似的demonstration作为prompts,增强prompts表达能力。
(3)研究了模型在不同采样策略(例如随机、基于聚类)的少样本事件提取设置中的行为。(补充:基于聚类的方法主要用于小样本设置中,也就是few shot setting 下的sample strategy,用于构建数据集:首先为每个未标记的示例获取上下文和触发文本的嵌入(第 3-6 行)。然后我们对嵌入进行基于 k_means 的聚类(第 7 行)。最后,我们计算样本在所有集群中的比例9;并将每个集群的相应示例数添加到 Sfew(第 8-12 行)
)
首先,我们将事件提取作为生成式问答任务的公式使模型能够同时利用问答(利用标签语义)和文本生成,并且不需要进行阈值调整。我们对两种设置进行实验 (1) 全监督设置 3 和 (2) 域转移设置 4。根据经验,我们的方法大大优于以前的方法(提取 QA 和基于模板生成的方法)(贡献 1)
问题及其定义
给定event trigger的前提下,提取event argument roles.
针对每个argument roles,会有具体的问题:
For example, in this example, arg1 (TRANSPORTER):“who is responsible for transport”,
arg2 (PASSENGER):“who is being transported”,
arg3 (VEHICLE):“what is the vehicle used”,
arg4 (ORIGIN):“where the transporting originated”,
arg5 (DESTINATION):“where the transporting is directed”
** 流程:**
- 生成模型和如何构建演示(prompt)以及最终的输入&目标序列;
- 训练、解码、后处理细节;以及它们与基于模板生成的模型有何不同。
input的形式:
input context是原始文本,在文本中对event trigger做emphasis操作。
demonstration的构建:
从demonstration store中检索和问题对最相近的,作为demonstration。(** demonstration score怎么得到的,文章没有过多交代?**)
相似计算采用的S-bert
train
模型结构
模型结构不太难,看看就不多懂了。
实验结果
这部分没有整理。
文章比较了fewshot setting下的不同采样策略对于模型性能的影响,得到基于聚类的方式,最佳。