AAAI2023 | 百度+中科院提出USM：一种信息抽取的大一统方法

一句话总结

信息抽取任务具有多样的抽取目标和异构的结构，而传统的模型需要针对特定的任务进行任务设计和标签标注，这样非常的耗时耗力。本文提出一种USM方法，将各种信息抽取任务通过一种统一的模型方法完成。

点击这里进群—>加入NLP交流群

论文: Universal Information Extraction as Unified Semantic Matching
链接: https://arxiv.org/pdf/2301.03282.pdf
单位: 百度、中科院

USM

信息抽取（IE）的挑战在于标签模式的多样性和结构的异构性。

传统方法需要针对特定任务的模型设计，并且严重依赖昂贵的监督，因此很难推广到新模式。

在本文中，我们将 IE 分解为两种基本能力，「结构化」(Structuring)和「概念化」(Conceptualizing)，它们由不同的任务和模式共享。

基于这种范式，我们建议使用「统一语义匹配 (Unified Semantic Matching, USM)」 框架对各种 IE 任务进行通用建模，该框架引入了三个统一的标记链接操作来建模结构化和概念化的能力。

这样，USM 可以联合编码模式和输入文本，并行地统一提取子结构，并按需可控地解码目标结构。

本文的贡献为：

算法细节

实验分析

对 4 个 IE 任务的实证评估表明，所提出的方法在监督实验下实现了最先进的性能，并在零/少镜头传输设置中表现出强大的泛化能力。

USM在不同数据集上的结果

零样本迁移实验

少样本实验

总结

在本文中，我们提出了一个统一的语义匹配框架——USM，它对提取模式和输入文本进行联合编码，并行地统一提取子结构，并按需可控地解码目标结构。

实验结果表明，USM 在监督实验下实现了最先进的性能，并在零/少场景设置下表现出强大的泛化能力，验证了 USM 是一种新颖、可传输、可控和高效的框架。

对于未来的工作，我们希望将 USM 扩展到 NLU 任务，例如文本分类，并研究 IE 的更多间接监督信号，例如文本蕴含。

最近文章


深入理解Pytorch中的分布式训练


点击这里进群—>加入NLP交流群