论文浅尝 | 模式感知参考作为提示改进数据高效的知识图谱构建

笔记整理：陈道祺，天津大学硕士生，研究方向为知识图谱

链接：https://dl.acm.org/doi/10.1145/3539618.3591763

1. 动机

知识图谱（KG）作为结构化知识的一种形式，可以为各种实际应用提供后端支持，包括信息检索、问答和推荐系统。知识图构建的目的是从文本中自动检索特定的关系三元组和事件。作者认为目前的方法存在明显局限，其中包括：

自然语言和具有预定义模式的输出结构化知识之间的语义差距，这意味着模型无法充分利用受限制的模板来提取语义知识。

先前的基于提示的学习方法依赖于参数化范式，这种范式可能无法充分发挥预训练语言模型的潜在类比能力。在参数化空间中，模型可能难以学习复杂的例子，并且在有限的训练数据情况下表现不稳定。

为解决以上的问题，作者提出了schema-aware Reference As Prompt (RAP)，该方法动态地利用符号模式和从示例中继承的知识作为提示，以增强知识图谱构建的 PLM。具体来说，作者将来自人工标注和弱监督文本的实例与结构化模式进行对齐；这样，符号知识和文本语料就处于同一表征学习空间。然后，作者构建一个统一的参考存储，其中包含从符号模式和训练实例中获得的知识。为了解决利用参考知识的问题，作者提出了基于检索的参考整合，以选择信息丰富的知识作为提示。由于并非所有外部知识都有优势，因此作者利用基于检索的方法，从模式感知参考存储中动态选择与输入序列最相关的知识作为提示。

2. 亮点

RAP的亮点主要包括：

（1）RAP方法能够动态地利用来自人工注释和弱监督数据的模式和知识，作为每个样本的提示。这使得知识图构建可以更灵活地利用模式和知识，而不仅仅依赖于先前固定的提示模板。

（2）实验结果表明，RAP方法在低资源环境下表现出色，尤其是在关系三元组提取和事件提取等知识图构建任务上。这表明它具有提高数据有效性的潜力，尤其在资源受限的情况下。

（3）引入了一种检索增强方法，称为 "Schema-aware Reference As Prompt (RAP)"。这个方法旨在解决当前知识图构建方法的局限性，通过检索与结构化模式相关的知识作为提示，从而提高了数据有效性。

3. 概念及模型

本篇文章主要将RAP 应用于知识图构建的两个代表性任务，即事件提取和关系三元组提取。

事件提取 (Event Extraction)：事件提取是从非结构化自然语言文本中自动提取事件的过程，受事件模式的指导。为了澄清这一过程，使用以下术语：

(1)触发词（Trigger Word）：最准确地描述事件的词或短语。

(2)事件参数（Event Argument）：与事件相关的实体或属性，如时间或使用的工具。

例如，句子 "A man was hacked to death by the criminal" 描述了一个由词 'hacked' 触发的攻击事件。这个事件包括两个论元角色：攻击者（criminal）和受害者（a man）。模型应该能够识别事件触发器、它们的类型、参数以及它们的相应角色。

关系三元组提取 (Relation Triple Extraction)：从非结构化文本中联合提取实体及其关系，这些关系以三元组形式（主体、关系、客体）表示，是知识图构建中的重要任务。给定输入句子，期望的输出是关系三元组  ，其中  是主实体，  是关系，  是客体实体。

例如，给定句子 "His 35-year career at Moil Oil included a four-year assignment in Tokyo, Japan as head of Mobil Far East."，模型应该识别两个实体Tokyo和Japan以及它们的关系capital-of，表示为三元组(Tokyo,capital-of,Japan)。

图1  schema-aware Reference As Prompt (RAP)架构图

• 模式感知参考存储构建

基础参考库。基础参考存储包含文本实例，其中包含大量可能与查询具有语义相似性的信息。

架构实例混合参考存储是一种结合了模式信息和基于标签的参考知识存储库，用于增强知识图构建任务的性能。作者在基础参考库之上使用模式信息来增强引用，任务模式是一个描述每个目标类型配置的符号图G，这些节点（知识类型）通过它们的内在关系相互连接。以事件提取任务为例，事件'meet'与'Meet'相关联，因为'meet'是Meet事件的触发词。事件提取任务的模式图包括三种类型的节点：事件类型E、触发词T和参数角色A。对于关系三元组提取任务，模式图包含关系类型R和实体信息S。这些模式图是基于原始数据集（如WebNLG或NYT）构建的。

弱监督的参考存储扩展是一种使用外部数据源和知识引导的弱监督方法来扩展知识图构建任务中的参考知识存储库，以提高性能的方法。这种方法可以应用于各种知识图构建任务，而不仅仅是事件提取。作者采用一种名为Trigger From WordNet (TFW)的轻量级符号管道方法来“注释”每个句子中的候选触发器。以一个示例句子为例，给定句子 "He commanded several ships contracted by Jonathan Forward to transport convicted felons from London to Maryland."，作者识别了候选触发词 ("commanded", "contracted", "transport", "convicted")。然后，他们将触发词"transport"映射到潜在标签，将触发词“convicted”映射到潜在标签在模式图中。尽管句子中没有实际的“Convict”事件，但为了扩展模式感知的参考知识存储库，这些错误是可以接受的。最后，作者将模式感知的参考知识存储库存储为键-值内存：

• 键：知识存储的条目（键）是文本实例。

• 值：指向模式图中一个或多个节点的指针。

图2 知识指导下的弱监督算法

• 基于检索的参考文献集成

RAP通过从模式识别参考存储中检索知识，并将其与输入内容整合到知识图谱构建模型中，从而为每个样本构建唯一且合适的提示。形式上是

其中，  指的是从存储中提示检索的引用。检索组件 η 是基于Apache Lucene、Elasticsearch的现成稀疏搜索器，使用反向索引查找。具体来说，作者用输入文本x查询参考存储，引擎会根据相似性函数score计算存储中每个条目的得分，如下所示：

其中  ，  表示BM25分数。作者就可以从数据存储中获得前k个最相似的条目  ,   。作者收集实例c和连接到指针  的模式子图。

对于事件提取任务，根据以下内容构造Prompt   ：(1) 事件类型 E：事件类型的超类关系和定义。(2) 触发词信息 ：作者随机选择与事件类型节点相连的三个触发词节点，并构建触发词提示，格式为“Similar trigger such as ....”。(3) 参数信息A：作者按照Hsu等人的方法，基于参数节点构建参数描述。(4) 文本实例I：提示  的最后部分是作者检索到的文本实例。作者将不同的知识组合在一起，形成提示  ，如下所示：

对于关系三元组提取，作者构建Prompt   的结构为：(1) 关系类型R：关系类型示例，可能在句子中描述的潜在关系。(2) 结构信息S：结构信息指示了形成三元组的实体类型，如(city,capital_of,city)。(3) 文本实例I：提示  的最后部分是作者上面检索到的文本实例。作者将不同的知识组合在一起，形成提示  ，如下所示：

• 训练和推理

模型的输入是将Prompt Z和查询句子X链接起来作为模型的输入，公式表示为：

[;]表示序列串联操作，[SEP]是所应用的PLM中相应的单独标记。

对于生成式的模型，作者将模型优化为条件生成式。假设 θ 表示模型的训练参数，训练目标是最小化训练集  中所有目标输出  的负对数似然。形式上为：

对于分类模型，分类模型通常采用编码器来获取输入的隐藏状态h，并将h输入分类器，以检测每个标记的标签。在这里，作者采用与生成式方法相同的输入格式。然而，在预测过程中，模型应该忽略提示文本，因为它可能会偏离提取特定实体、关系和事件的语义。为了实现这一点，作者创建了一个提示掩码（prompt_mask）来排除提示文本，并依赖于原始句子的隐藏状态  进行预测，如下所示：

分类模型的训练目标是最小化训练集  中所有目标输出  的交叉熵损失，其中  在预测正确时为1，否则为0：

4. 实验

数据集中作者针对两个任务采用了不同的数据集，在事件提取任务中，作者进行了实验，使用了以下两个流行的基准数据集：ACE05-E：包含599个英文注释文档的数据集为构建低资源设置，作者遵循DEGREE的方法，生成不同比例（1%，3%，5%，10%，20%，30%）的训练数据，并使用原始开发集和测试集进行评估；CASIE：这是一个针对网络安全领域的事件提取数据集作者进行了类似的预处理，并将训练数据随机分为1%和10%两种比例。在关系三元组提取任务中，作者使用了以下两个流行的公开数据集来评估他们的方法：NYT：这是一个知识图构建任务的数据集，包含来自《纽约时报》的新闻文本；WebNLG：这是一个包含自然语言生成任务的数据集，用于构建知识图。对于关系三元组提取，训练数据也是随机生成的，分为1%，5%和10%的比例。

在评估标准上，在事件提取任务中，作者使用了与先前工作相同的评估标准，报告了触发词分类（Trg-C）和论点分类（Arg-C）的F1得分。在关系三元组提取任务中，作者遵循只有提取的关系三元组与真实值完全匹配才被视为正确的评价指标。在基准模型上，作者选择了一些强大的基准模型，将它们与RAP进行比较和增强，包括TANL、Text2Event、DEGREE、PRGC、RelationPrompt以及其他流行的方法，如OneIE、BERT_QA和TPlinker。

在与SOTA的性能比较中，综合来看，RAP方法在低资源环境下表现出了很高的性能，尤其是对于事件提取和关系三元组提取任务。在高资源环境下，RAP仍然能够保持竞争力，尽管与其他方法的性能差距可能会减小，实验具体效果可见下图：

图3 模型在低资源上的表现

图4 模型在高资源上的表现

在消融实验中，作者发现几乎所有形式的信息都是必不可少的，因为它们的缺失会对绩效产生不利影响。对于所有任务，作者注意到当提示中省略文本实例时性能会下降。消融实验表明，RAP框架中的各个组件都对性能有重要贡献，特别是在低资源环境下，它们的作用更加显著。这强调了RAP框架的有效性和各个组件的重要性。

图5 消融实验

在不同不同类型和数量的知识下的RAP优势中，作者产生以下三种看法：相关数据和模式作为参考（提示）优于使用检索实例进行数据增强；相似示例有助于上下文理解，模式起更重要的作用；使用更多的检索知识数据只能在一定程度上提高性能。

图6  与数据增强方法对比

图7  在10%设置下，检索实例数量对 ACE05-E 任务模型性能的影响

实体、关系和事件的不同类型分析中，作者观察到：（1）对于事件提取任务，RAP 的不同组件对这两个任务表现出不同的影响。总体而言，触发信息在触发分类任务中起着更重要的作用，而实例和参数对于参数分类任务更重要。（2）事件类型对“Start-Position”和“Start-Org”事件类型的Trig-C影响较小，可能是因为这些事件类型较少见，包含的事件触发信息较少。（3）对于“Convict”、“TransferOwnership”和“Start-Org”类型，Arg-C的性能受到参数和实例的显著影响。（4）与事件提取不同，不同类型的关系三元组提取任务的提示的不同部分表现出相似的趋势：三元组结构是提示中最重要的部分，而实例和关系信息的影响较小。

图8 在10%设置下基于ACE05-E上各种知识输入的四种事件类型的F1分数

5. 总结

在本论文中，作者提出了RAP（Schema-aware Reference As Prompt）用于数据高效的知识图谱构建，该方法构建了一个具有模式感知的参考存储，并动态选择信息丰富的知识作为提示进行集成。实验结果表明，该模型在事件提取和关系三元组提取任务中取得了与当前状态下的模型竞争力相当的结果。RAP可以应用于不同的现有方法中。此外，作者还对不同提示组件注入的效果进行了深入分析。在未来作者计划：1）探索更多的符号知识，例如用于知识图谱构建的公理规则，2）将此方法扩展到通用的自然语言生成任务中。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。