Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple 阅读笔记

Article

Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction

Background

目前的监督学习关系抽取需要大量的标记数据，在样本较少时表现不佳。另外实体和关系间具有的隐式相关性，使得这个任务更具挑战性。少样本学习中，经过训练的模型可以从几个例子中快速学习到新的概念，并保持良好的泛化能力。因此，如果需要将关系三元组的抽取拓展到新领域，可以使用一些实例来激活系统而不需要重新训练模型，这种少样本学习方法可以显著降低标注成本和训练成本，同时保持较高的准确率。

注意实体对和关系有显示的约束，例如born_in表明头实体是Person。

原型网络将每个类别中的样例数据映射到一个空间中，提取它们的“均值”来表示为该类的原型（prototype）。训练使得本类别数据到本类原型表示的举例为最近，到其他类原型表示的距离较远。

Purpose

作者提出了一个新的多原型嵌入网络模型（MPE），联合抽取关系三元组即实体对和对应关系。设计了一个混合原型学习机制，连接了关于实体和关系的文本和知识，学习实体对和关系之间的约束。另外作者还提出了知识感知正则化来引入外部知识图谱的先验知识，学习更多原型。引入原型正则化考虑不同原型之间的相似性。

Methodologies

Problem Definition

在少样本关系三元组抽取任务中，给定两个数据集$D_{meta-train}$和$D_{meta-test}$，数据集中包含样本(x,t)的集合，其中x是包含N个单词的句子，t是抽取的关系三元组<head，relation，tail>。两个数据集具有彼此不相交的关系空间。测试集分为两部分：$D_{test-support}$和$D_{test-query}$。由于实体对的类型可以由关系来确定（如Born_in能够确定Person和Location），所以可以通过指定关系类别来确定三元组的分类。

$D_{test-support}$中的N个关系类每个包含K个样本，则成为N-way-K-shot问题。

受样本数量限制，使用$D_{test-support}$从头训练一个好的模型并评估其性能并非易事，因此作者将$D_{meta-train}$也分为两个部分$D_{train-support}$和$D_{train-query}$，并在训练阶段模型少样本设置。

Framework

多原型嵌入模型框架如图2所示，主要包含3个模块：

• 实例编码。利用BERT/Roberta/XLNet预训练模型对句子进行编码。

• 混合原型学习。得到序列标注方法使用的实体对表示后，能够得到支撑集中的实体原型，然后基于知识图谱约束，并考虑实体对和关系的联系，构建关系原型。

• 原型感知正则化。为了进一步增强原型学习，优化了原型在表示空间中的位置。让每个原型和相关实例之间的距离更近，并分散那些不同类型的原型。

Instance Encoder

对每个句子x = {${\omega }_1$，${\omega }_2$，…，${\omega }_n$}，为了匹配BERT的输入格式，将其构建为 {[CLS]，${\omega }_1$，${\omega }_2$，…，${\omega }_n$，[SEP]}的格式，[CLS]用来表示整个句子信息。句子上下文嵌入B = {$h_0$，$h_1$，$h_2$，…，$h_n$，$h_{n+1}$}，$h_0$是[CLS]的词嵌入，$h_{n+1}$是[SEP]的词嵌入。由于分词器可能将单词拆分，n的值可能与输入句子长度不同。

Hybrid Prototypical Learning

建立实体标签集S = {B-Head，I-Head，B-Tail，I-Tail，O，X}。利用CRF进行序列标注，y = {$y_0$，$y_1$，$y_2$，…，$y_n$，$y_{n+1}$}作为句子的标签，序列标注的损失记为$los{s}_{crf}$针对每一个实体，使用其第一个词表示作为头/尾嵌入。对支撑集中的每个类需要计算出一个代表向量，称为原型（prototype）。本文中使用的是带权值的原型，命名为Proto+Att网络，权值根据Q的表示向量，通过注意力机制获得。

$hea{d}_{proto}=\frac{1}{|S_k|}{\sum }_{hea{d}_i\in S_k}{\alpha }_{h}hea{d}_i$

$tai{l}_{proto}=\frac{1}{|S_k|}{\sum }_{tai{l}_i\in S_k}{\alpha }_{h}tai{l}_i$

其中

${\alpha }_h=\frac{\exp \left(e_{h_i}\right)}{{\sum }_{m=1}^k\exp \left(e_{h_m}\right)}$

$e_{h_i}={\mathrm{head}}_{\text{proto }}^{T}Q$

${\alpha }_t=\frac{\exp \left(e_{t_j}\right)}{{\sum }_{n=1}^k\exp \left(e_{t_n}\right)}$

$e_{t_j}={\mathrm{tail}}_{\text{proto }}^{T}Q$

采用欧几里得距离作为实体原型和实例之间的距离，最小化该距离的损失为$los{s}_{enitity}$。

对于关系原型，一方面，利用[CLS]计算句子原型$sen{t}_{proto}$；另一方面，根据在低维空间中的向量表示$h+t\approx r$，使用头尾实体原型构建知识图谱原型

$k{g}_{proto}=|hea{d}_{proto}-tai{l}_{proto}|W_r$

结合之后形成关系原型

$relatio{n}_{proto}=[sen{t}_{proto}；k{g}_{proto}]$

最小化距离的损失为$los{s}_{relation}$。

Prototype-Aware Regularization

如果一个类中的支持实例距离都很远，将导致原型很难捕获其共同特征。因此作者提出原型感知正则化来优化原型学习。使用欧氏距离和余弦距离来度量相似性，损失函数如下：

$los{s}_{intra}=\frac{1}{NK}{\sum }_{i=1}^N{\sum }_{k=1}^K||x_i^k-p_i^k|{|}_2^2$

$los{s}_{inter}=1-\frac{1}{N}{\sum }_{i=1}^N{\sum }_{j=i+1}^{N}cosine(p_i,p_j)$

其中$x_i$是每个句子的表示，$p_i$是相关原型，$los{s}_{intra}$和$los{s}_{inter}$是两个不同原型感知正则化函数。总正则化损失为$los{s}_{regular}=los{s}_{intra}+\alpha los{s}_{inter}$

总的损失为$L=los{s}_{crf}+\beta los{s}_{entity}+\gamma los{s}_{relation}+\delta los{s}_{regular}$

Experiments

采用公共数据集FewRel，有80种关系，每个关系有700个样本。随机挑选50种关系训练，15种关系验证，剩下的15种关系用来测试。超参数设置如表1：

结果如表2.

与所有基线相比，MPE具有最好的性能，证明了多原型利用文本和知识是有效的；在少样本学习中，实体识别表现的比关系抽取差了很多，原因在于序列标注比分类任务更具挑战性；Proto+Att比Proto表现的更好，说明不同实例对原型学习有不同的影响。

观察表4，例1说明本文的方法在类似的上下文表示中，只在细粒度实体类型上有所不同的任务中表现不好，这可能是由于模型倾向于将具有相似上下文的句子分类为高频关系的不平衡学习问题导致的。例2是错误的边界问题，问题在于序列标注具有的挑战性。例3是错误的三元组问题，作者观察到，许多三元组中的实体并不在标准数据集中，这可能是由于一个句子中含有多个三元组，而FewRel并没有对其进行标记。

Conclusion

本文中作者研究了少样本关系三元组抽取问题，提出了一种新的多原型嵌入网络，桥接了文本表示学习和知识约束。大量的实验证明了模型的有效性，但在实体识别方面表现较差，且不能在一个句子中提取多个三元组，存在上下文干扰问题。未来工作中，将包括1）利用有效的序列解码器提高实体识别的性能；2）研究单个句子中具有多个三元组的少样本关系三元组抽取问题；3）注入逻辑规则，提升鲁棒性4）开发少样本关系三元组抽取基准测试。