【论文阅读笔记】Schema-aware Reference as Prompt Improves Data-EfficientRelational Triple and Event Extract

论文题目：Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction

论文来源：

论文链接：https://arxiv.org/pdf/2210.10709.pdf

代码链接： GitHub - zjunlp/RAP: Code for the paper "Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction"

0 摘要

信息抽取旨在从非结构化文本中进行结构关系三元组或事件抽取，经常存在数据稀缺问题。随着预训练好的语言模型的发展，许多基于提示的数据高效信息抽取方法已经被提出，并取得了很好的性能。然而，现有的信息抽取的即时学习方法仍然容易受到几个潜在的限制：(i)具有预定义模式的自然语言和输出结构知识之间的语义差距；(ii)由于特征不足，使用局部个体实例的表示学习限制了性能。在本文中，我们提出了一种新的模式感知参考作为提示（RAP）方法，该方法动态地利用每个样本从全局（小样本）训练数据中继承的模式和知识。具体地说，我们提出了一个模式感知引用存储，它统一了符号模式和相关的文本实例。然后，我们使用一个动态参考集成模块从数据存储中检索相关知识，作为训练和推理过程中的提示。实验结果表明，RAP可以插入各种现有模型，并在低资源设置的四个关系三元组抽取和事件抽取数据集上优于基线。此外，为了更好地了解RAP的发病机制，我们提供了关于不同知识类型和知识规模的全面的经验消融和案例分析。

1 引言

信息抽取（IE）——自动检索文本中特定关系三元组和事件的能力——在自然语言处理（NLP）和知识图谱（KG）中占有重要位置，并且可以为各种应用程序提供后端支持，如web内容分析和问题回答。以往关于IE的工作依赖于大量的标记数据来训练；然而，获得高质量的注释是昂贵的。因此，许多数据高效方法被提出，其中使用预先训练的语言模型（PLMs）提示学习产生很好的性能。例如，设计一个结构化的提示模板，用于生成合成关系样本，用于数据高效的关系三元组抽取。将事件抽取作为一个条件生成问题，仅使用少量的训练数据就能实现高性能。

然而，现有的方法仍然存在几个潜在的限制。首先，与一般的NLP任务不同，IE任务如关系三元组抽取和事件抽取目标来进行结构预测，其中输出应符合预定义的模式。用于PLMs的大量原始文本数据不一定包含与特定于任务的提示相关的足够的模式，从而导致输入序列和模式之间的语义差距。此外，之前的提示学习工作遵循基于参数(parametric)的学习范式。由于在优化过程中，稀缺或复杂的例子不容易在参数(parametric)空间中学习，因此它们可能不能很好地推广复杂的例子，并且在有限的训练数据下执行不稳定。例如，提到相同事件类型的文本在结构和意义上可能存在显著差异。“一名男子被罪犯砍死”和“飞机受到敌人机枪的射击”都描述了一起攻击事件，尽管它们几乎字面上不同。由于只有少量的训练样本，该模型可能很难区分这种复杂的模式和抽取正确的信息。

为了克服上述限制，我们试图充分利用训练数据中的模式和全局信息作为帮助的参考。请注意，人类可以使用联想学习来回忆记忆中的相关技能，用很少的练习来征服复杂的任务。同样地，由于在资源少的环境下单个句子的特征不足，利用该模式知识和整个训练数据来提供参考和丰富单个实例的语义也是有益的。基于此，如图1所示，我们提出了一种新的模式感知参考作为提示（RAP）方法，它动态地利用符号模式和从训练数据继承的符号模式和知识作为提示来增强IE的plm。

但存在两个问题： (1)收集参考(reference)知识：由于丰富的模式和训练实例都有利于丰富单一实例的特征；因此，有必要从两者中收集得到的参考知识。(2)利用参考知识：将这些参考知识集成到现有的IE模型中也具有挑战性，因为有各种类型的IE模型（例如，基于生成和基于分类的方法）。

为了解决收集参考(reference)知识的问题，我们提出了一个模式感知的参考(reference)存储区，用文本实例来丰富模式。具体来说，我们将训练实例与结构化模式对齐；因此，符号知识和文本语料库在同一空间中进行表示学习。然后，我们构建了一个统一的参考(reference)存储，其中包含来自符号模式和训练实例的知识。为了解决利用参考(reference)知识的问题，我们提出了动态参考(reference)集成来选择信息知识作为提示。由于不是所有的外部知识都是有利的，我们使用基于检索的方法动态选择从模式感知参考存储中与输入序列最相关的知识作为提示。通过这种方式，每个示例都可以实现多样化和合适的知识提示，从而在低资源设置中提供丰富的符号指导。

为了证明我们提出的RAP的有效性，我们将其应用于关系三元组抽取和事件抽取任务。请注意，我们的方法是与模型无关的，并且很容易插拔到以前的任何方法中。我们在两个关系三元组抽取数据集： NYT和WebNLG，以及两个事件抽取数据集： ACE05-E和CASIE上对该模型进行了评估。实验结果表明，RAP模型在低资源环境下表现得更好。本研究的贡献可以总结如下：

• 我们提出了一种模式感知的参考(reference)提示(RAP)方法，用于数据高效的关系三元组抽取和事件抽取，该方法可以插入到以前的各种IE模型中。
• 我们提出了一个模式感知的参考(reference)存储和一个动态引用检索机制来解决在RAP模型中收集和利用参考(reference)知识的问题。
• 我们在四个基准数据集上进行了全面的实验，证明了我们的方法在小样