PAIE-提示学习用于事件抽取领域

最新推荐文章于 2024-06-26 17:36:17 发布

LY_123456_

最新推荐文章于 2024-06-26 17:36:17 发布

阅读量1.4k

点赞数 1

文章标签：学习人工智能自然语言处理知识图谱语言模型

本文链接：https://blog.csdn.net/LY_123456_/article/details/127536367

版权

Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction

摘要

PAIE模型在训练数据不足的情况下，可以高效的进行句子级和文档级事件论元抽取。

一方面，PAIE模型利用对提取目标的提示信息来充分利用PLMs的优势。两个片段选择器，根据提示从每个角色的输入文本开始、结束标记

另一方面，通过多角色提示捕获论元交互，并通过二部匹配损失进行最优片段分配的联合优化

另外，通过灵活的提示设计，可以提取相同角色的多个论元，不同于传统的启发式阈值调整

效果提升了PAIE-base 3.5%和PAIE-large2.3%

使用了三个数据集 ACE05 RAMS WIKIEVENTS

当前研究不足和本研究创新

事件论元抽取可分为两大类

一、语义角色标注问题

两个步骤，首先确定候选片段，然后对角色进行分类

尽管提出了联合模型来共同优化它们，但对候选对象的高度依赖仍然可能受到错误传播的影响

二、遵循预先训练的模型，通过问答和文本生成来解决EAE

基于问答的模型可以有效地识别带有角色特定问题的论元的边界，而预测必须逐个进行。

基于生成的方法对于生成所有论元是有效的，但顺序预测降低了对远距离和更多论元的性能。

对于提示抽取，设计两个基于角色的片段选择器，从输入文本中选择开始和结束标记，三种类型的提示模板：手动模板、连接模板、软提示，在句子级和文档级上性能较好

对于联合片段选择，设计了二部匹配损失，使预测和真实之间代价最小，从而使每个论元都能找到最优的角色提示，

还可以通过灵活的角色调试来处理同一角色的多个论元，而不是启发式阈值调整。

方法：

PAIE考虑了多个论元及其相互作用，以促使PLM进行联合提取。该模型包含三个核心组件：提示创建、片段选择器解码和片段预测

现有的基于提示的方法主要集中在分类和生成任务上，传统的提取目标被转换为一个生成任务。这带来了一个低效问题，即该模型必须列举所有提取候选。基于提示的方法直接应用于提取，在这里，我们给出了一个通用的提取提示方法的公式，

1. 提示创建。给定上下文X和一系列查询Q={q1，q2，...，qk}，创建一个包含所有这些查询的联合提示，其中fPrompt是提示创建器。

2. 提示选择器解码。在给定PLM L、上下文X和提示Pt的情况下，我们按如下方式解码特定于查询的(回答)范围选择符：

HL是PLM的输出。

3.提示片段选择。为了找到最佳范围，我们为上下文中的开始标记和结束标记设计了两个选择器：

(s，e)qk是关于第k个查询的片段，而gL是片段选择器。显然，这种公式主要考虑了片段的邻接约束，比生成式提取要好。

X表示上下文，t表示触发词，e表示事件类型，R(E)表示事件特定角色类型的集合，

对于事件论元抽取提示创建

提示中提到的角色作为槽，这样的设计允许我们的模型捕获不同角色之间的隐式交互。

特定角色选择器生成

给定上下文X和提示符Pt，该模块为提示的每个槽k生成特定于角色的片段选择器θk。

文本标记，<t></t>分别插入到上下文X中的触发词之前和之后。

我们没有直接将处理后的上下文˜X和提示P连接起来，而是将上下文分别馈送到BART编码器和BART解码器,提示和上下文将在解码器模块的交叉注意力层相互作用。

HX表示面向事件的上下文表示，HPT表示面向上下文的提示表示。

角色特征ψk∈Rh

使用提示跨度选择器进行学习

给定上下文表示Hx和一组片段选择器{θk}，每个θk旨在从Hx中提取至多一个对应的论元片段(sk，ek)。对于与θk有关的一个论元ak=˜xi：j，其中i和j是上下文中的开始和结束词索引，期望选择器输出(ˆsk，ˆek)=(i，j)作为预测。并且对于与无论元相关的θk(当上下文没有关于该角色的论元时，或者该角色的槽号超过论元号)，它期望输出(ˆsk，ˆek)=(0，0)，表示空参数ϵ。

首先遵循提取提示公式来计算每个标记的分布，这些标记被选作每个角色特征的论元的开始/结束。