Learning to Ask for Data-Efficient Event Argument Extraction

最新推荐文章于 2024-09-26 17:20:50 发布

Rose sait

最新推荐文章于 2024-09-26 17:20:50 发布

阅读量256

点赞数

文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/weixin_46025824/article/details/126775529

版权

论文：https://arxiv.org/pdf/2110.00479.pdf

接收会议：AAAI 2022 SA

本文作者：叶宏彬（浙江大学），张宁豫（浙江大学），毕祯（浙江大学），邓淑敏（浙江大学），谭传奇（阿里巴巴），陈辉（阿里巴巴），黄非（阿里巴巴），陈华钧（浙江大学）

0 摘要

事件论元抽取(EAE)是信息抽取的一项重要任务，用于发现特定的论元角色。在本研究中，我们将EAE转换为一个基于问题的完形填空任务，并对固定离散标记模板性能进行实证分析。由于生成人工注释的问题模板通常费时费力，我们进一步提出了一种名为“Learning to Ask”的新方法，该方法可以在无需人工标注的情况下学习EAE的优化问题模板。我们使用ACE-2005数据集进行实验，结果表明我们基于优化提问的方法在小样本和全监督设定中都取得了最先进的性能。

1 引言

事件论元抽取(EAE)是信息抽取中的一项重要而具有挑战性的任务，它的目的是发现事件中每个论元的特定角色类型。例如，"declared bankruptcy"一词在“ My uncle declared bankruptcy in 2003 and his case closed in June 2004”中引发了宣布破产事件，EAE旨在确定“ My uncle”在这句话中是一个论元，它的论元角色是“Org”。以前的EAE方法严重依赖于使用大量的训练数据，导致在少量数据可用的场景中难以使用。

最近，事件提取(EE)作为一种机器阅读理解问题(MRC)被重新引入，在这个范式中，问题模板被用于将输入句子映射到一个合适的序列以提高性能。然而对于EAE，这些方法仍然需要优化一个额外的参数矩阵来进行分类，当可用的数据量有限时，尤其具有挑战性。

受最近prompt的启发，为了弥补微调和预训练之间的差距，我们做了一个尝试，将EAE转换为一个基于问题模板的完形填空任务。

我们将一个问题与输入的句子连接起来，并利用[MASK]来指示后续预测的事件类型。从而事件参数提取作为一种基于问题模板的完形填空任务，以掩码语言建模的方式进行。在第二个优化模板的例子中，我们使用伪问题令牌来搜索最可能的事件参数角色类型

如下图所示：

（选择使用陈述性句子作为问题模板，因为它可以提高跨上下文的语义一致性，提高预测性能。）

由于不同的提问策略会对事件提取方法的性能产生不同的影响，我们提出了一种新颖的Learning to Ask(L2A)方法，通过反向传播优化问题模板，可以在连续嵌入空间中自动搜索最佳的伪问题token。

2 模型L2A

L2A框架依赖于问题模板 $X_{Q}$ ，该模板将输入句子映射到标准transformer输入序列：[CLS]question[SEP]sentence[SEP]。

对于问题的模板构建，我们引入了两种不同的策略：

1. L2A (base)：输入文本的人工问题模板，它用[mask]替换论元角色的token，并在问题模板中添加必要的提示信息，如事件类型和参数跨度标记。

2. L2A (pseudo)：由于人工提示问题模板是劳动密集型的，并且可能导致EAE性能次优，因此我们进一步引入了自动构造问题模板的方法。

具体来说，我们使用几个未使用的token[u1]-[u8]来形成一个伪问题模板，并固定语言模型的其他权重来学习优化的问题模板。

由于参数角色标签包含语义信息，所以可以将EAE中的标签映射简化为单射函数。例如，可以定义投射出”Transaction.Transfer-Money”的论元角色函数为：

Y(R) = {giver, recipient, benef iciary, place}

我们将事件角色的单个标记的词汇表分布归一化，并将预测概率定义为：

其中 $h_{[MASK]}$ 为对应于[MASK]位置的隐藏向量。接着，我们使用交叉熵损失将事件角色预测定义为：

其中 $L_{EAE}$ 为EAE损失，CE为交叉熵损失函数。为了使输入文本更接近自然语言，我们利用了一个辅助优化对象。我们随机掩码句子中的其他token，进行掩码语言模型预测如下：

其中u表示问题格式输入序列， $x^{m}$ 为随机掩码的原始标记x，x’表示掩码处理后的输入句子，BCE为二进制交叉熵损失函数。最后，我们优化以下对象：

3 实验

我们用ACE2005数据集来评估我们的L2A模型。对于few-shot场景，我们遵循LM-BFF的few-shot设置，这与 N-way K-shot设置不同。从表1中，我们观察到L2A（base）的表现优于baseline，这表明在基于问题的完形填空任务中进行微调可以带来实质性的好处。

为了直观地说明优化问题模板的有效性，我们进行了最近邻词汇表嵌入搜索，将最佳优化的伪问题模板令牌投射到可读的自然语言token中。我们注意到具有投影问题的模型为L2A (projected)。值得注意的是，L2A (projected)的性能仅比最佳优化结果低了0.8%。

从图2中，我们可以观察到，L2A (pseudo)在fewshot场景(k=4)中比以前最先进的模型拥有高达15%的绝对改进。我们认为该问题模板可以包括特定于任务的信息和与参数相关的信息，从而提高了模型的性能。此外，我们的方法与预训练范式一致，因此在使用稀疏数据学习时，更方便地利用参数空间中可用的知识。