论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning

1 简介

论文题目：Ontology-enhanced Prompt-tuning for Few-shot Learning
论文来源：WWW 2022
组织机构：浙江大学
论文链接：https://arxiv.org/pdf/2201.11332.pdf

1.1 动机

• few-shot中注入知识，存在下面三种挑战：

1. Knowledge Missing： 由于外部知识库的不完全，不能提供任务相关的知识。
2. Knowledge Noise：不加区分的知识可能对下游任务没有帮助。
3. Knowledge Heterogeneity：下游任务的文本语料与知识是不同的，形成两种各自的向量表示。

1.2 创新

• 提出本体转换(ontology transformation)来丰富结构知识并将其转换为文本格式。
• 提出span-sensitive knowledge injection，选择有用的知识，避免加入噪声。
• 提出一个collective training algorithm，联合优化表示。在关系抽取、事件抽取、知识图谱补全任务上取得了不错的效果。

2 方法

整体框架如上图，分别应用到三种任务上，下面分别介绍各个模块的作用。

2.1 General Framework with Prompt-Tuning

输入为文本和模板的拼接(包含[MASK]的token，公式1)，输出为[MASK] token的概率分布(公式2)，本体文本从外部知识库得到，作为辅助promot。

2.2 Ontology Transformation

本体表示为 O = { C , E , D } O=\{C,E,D\} O={C,E,D},其中C为概念集合，E为概念间的连边，D为每个本体的文本描述。不同的任务使用不同的本体资源：

2.2.1 Relation Extraction

使用MUC (Message Understanding Conference)定义的实体概念，使用[CLS]<Input>[SEP]<Template>[SEP]<OntologyText>[SEP]最为输入序列(如上图)，实体对的边作为meta-relation加强<OntologyText>(如上图)，[𝑀𝐴𝑆𝐾]周围的token是可学习的$[u_1]-[u_4]$(数量是超参数)

2.2.2 Event Extraction

事件本体为ACE event schema，使用FrameNet扩充一个更大的事件本体，人工映射frames到事件本体。输入为[CLS]<Input>[SEP]<Template>[SEP]<OntologyText>[SEP]。[𝑀𝐴𝑆𝐾]周围的token是可学习的$[u_1]-[u_4]$(数量是超参数)

2.2.3 Knowledge Graph Completion

从Wikidata获得本体，将知识图谱补全作为三元组分类任务，拼接实体和关系作为输入，输入为[CLS]<Input>[SEP]<Template>[SEP]<OntologyText>[SEP]。[𝑀𝐴𝑆𝐾]周围的token是可学习的$[u_1]-[u_4]$(数量是超参数)，在推理时，根据语言模型预测的句子的最大概率对输出分数进行排序。

2.3 Span-sensitive Knowledge Injection

如上图，使用一个矩阵限制外部知识对输入文本的影响(attention mask matrix),公式如下，满足下面条件时$x_i$对$x_j$可见：

1. $x_i$和$x_j$都属于输入文本。
2. $x_i$和$x_j$都属于相同本体的文本描述。
3. $x_i$是输入文本中的实体，$x_j$为它的本体描述。
   

2.4 Collective Training

首先初始化本体token，固定语言模型优化本体token， 然后优化模型的所有参数，包括语言模型和本体token。

3 实验

关系抽取使用的数据集为SemEval-2010 Task 8、TACRED-Revisit、Wiki80、DialogRE，事件抽取使用的数据集为ACE 2005，知识图谱补全使用的数据集为FB15k-237、WN18RR、UMLS，数据集统计如下：

关系抽取结果如下图：

事件抽取结果如下图：

知识图谱补全实验结果如下图：

消融实验：

Case study：