TTM-RE: Memory-Augmented Document-Level Relation Extraction（内存增强的文档级关系提取）

最新推荐文章于 2024-12-21 16:18:57 发布

星宇星静

最新推荐文章于 2024-12-21 16:18:57 发布

阅读量1k

点赞数 18

文章标签：机器学习深度学习人工智能 nlp 自然语言处理计算机视觉

本文链接：https://blog.csdn.net/weixin_54703767/article/details/142778858

版权

摘要

文档级关系提取旨在对文档中任意两个实体之间的关联进行分类。以往的文档级关系提取方法在充分利用不同噪声水平的大量训练数据的潜力方面是无效的。例如，在ReDocRED基准数据集中，在大规模、低质量、远距离监督的训练数据上训练的最先进的方法通常不会比那些仅在较小、高质量、人工注释的训练数据上训练的方法表现得更好。为了充分释放大规模噪声训练数据在文档级关系提取方面的潜力，我们提出了TTM-RE，一种新的方法，集成了可训练内存模块，称为令牌图灵机，与噪声鲁棒损失函数来解释正未标记设置。在用于文档级关系提取的基准数据集ReDocRED上进行的大量实验表明，TTM-RE达到了最先进的性能（F1的绝对分数提高了超过3%）。消融研究进一步说明了TTM-RE在其他领域（生物医学领域的化学诊断基因数据集）和在高度未标记的设置下的优越性。

一、引言

借鉴了记忆增强模型方面的最新进展中，提出了TTM-RE，这是专门为文档级关系提取而设计的初始内存增强架构。通过经验证据，证明了这种架构能够显著增强对来自经验观察的广泛的遥远标记数据的微调。具体来说，添加来自TTM（Ryoo et al.，2023），通过允许对头部和尾部实体进行再处理，同时共同考虑学习到的记忆标记，增强了下游关系分类（见图1）。

图1 通用文档关系提取方法与TTM-RE的文档级关系提取的区别。内存模块将输入实体和输出处理到关系分类器。我们研究了添加内存组件如何影响性能（例如不同的数据集和内存大小）。

提出了第一个记忆增强的TTM-RE文档级关系提取模型。通过合并伪实体，它显著提高了在ReDocRED（+3 F1评分）和ChemDisGene （+5 F1评分）等数据集上的下游关系分类性能。
在没有任何人类标记数据的情况下，TTM-RE在看不见数据上取得了令人印象深刻的关系提取性能（+9 F1分数）。此外，在一个非常无监督的场景中（19%的训练标签），TTM-RE比之前的SOTA表现得更好（+12 F1分数）。
对模型进行消融分析，检查了TTM-RE在更少、更频繁的关系类中的性能，评估了内存大小、图层大小和不同基模型的使用的影响。

二、模型

提出了TTM-RE，一种内存增强的、文档级的关系提取方法。图2显示了TTM-RE的总体框架的示意图。

图2 TTM-RE的总体框架。给定一个示例文档和一个期望的关系分布，使用LLM（Roberta-Large）对输入标记进行编码，并通过它们的标记表示考虑头和尾实体，然后将其输入内存模块（灰色）。然后，内存模块返回2个内存增强版本的头部和尾部实体，用于最终的关系分类。

2.1 问题定义

在任务公式中，我们检查了一个文档 $D$ ，它包括 $M$ 个句子 $(s_1,s_2,...,s_M)$ 、N个实体 $(e_1,e_2,...,e_N)$ 和 $R$ 个关系类。给定该文档 $D$ 和一个指定的实体对 $(e_h, e_t)$ ，目标是基于从文档中获得的信息来预测实体对之间的一组正相关关系 $(\hat{r}_1, \hat{r_2}, ..., \hat{r}_p)$ 。需要注意的是，每个实体可能在文档 $D$ 中出现多次，并且需要考虑每个可能的实体-实体对（例如，如果n个实体，我们需要考虑 $R \times N \times (N-1)$ 种可能的关系）。