A Novel Cascade Binary Tagging Framework for Relational Triple Extraction 阅读总结

Purpose

作者引入一个新的角度重新审视关系抽取任务，并提出了一个新的二元标记框架CASREL，该框架是由公式推导而来的。将关系建模为函数，将subject映射到object，从而解决了重叠问题。在这个框架下，首先识别出句子中所有可能的主体，然后对每个主体，应用特定的关系标记来同时识别可能的关系和对应的客体。

Background

从非结构化文本中抽取关系三元组是自动构建大规模知识图谱的关键，然而现在几乎没有能够很好解决重叠三元组的工作，多数针对重叠三元组的工作将关系视为分配给实体对的离散标签，这使得关系分类变成了一个困难的机器学习问题。首先，关系分类极不平衡，抽取的大多数实体对之间没有关系，产生了大量的负样本。第二，当一个实体参与多个三元组时，分类器会被混淆。因此，提取的三元组通常是不完整、不准确的。

Methods

CASREL是一个端到端的二元标注框架，包含一个基于BERT的编码模块，主体标记模块和特定关系的客体标记模块。架构如下：
给定训练集D中带有注释的句子x_j 和一组可能存在重叠的三元组T_j={(s,r,o)}，目标是最大似然估计。
s∈T_j 表示出现在三元组中的主体，T_j |s是由主体s引导的三元组，(r,o)∈T_j |s 是一个由s引导的三元组中的(r,o)对，R是所有可能的关系集，R\T_j |s 是非s引导的关系集，OØ表示"null"对象。
式(2)利用了概率链式法则，式(3)利用了一个关键事实：对一个给定的主体s，任何与s有关的关系都会指向对应的客体，而其他关系必然没有对应的客体，即"null" 客体。
这样做如下好处：首先，由于是在三元组层面上的似然估计，优化这个似然估计相当于直接在三元组层面优化最终结果。其次，通过设计来解决重叠三元组问题而不是思考多个三元组如何共享句子中的实体。另外，式(3)的分解启发了一种新的三元组抽取的标注模式：学习了一个主体标注器p(s|x_j ),识别句子中的主体；针对每个关系r，学习一个客体标注器pr(o|s,x_j )，识别给定主体的特定关系对应的客体。通过这种方式可以将每个关系建模为一个将主体映射到客体的函数，而不是为(主体，客体)对进行关系分类。事实上，这种新颖的标记模式使我们能够一次提取多个三元组。

BERT Encoder

编码器模块从句子中提取特征信息xj，这些信息将被提供给后续的标记模块。作者使用预先训练的BERT模型对上下文信息进行编码。

Cacade Decoder

基本观点是在两个级联步骤中抽取三元组。首先在输入的句子中检测主体；然后对每个候选主体检测所有可能的关系，寻找是否有关系能将主客体联系起来。
Subject Tagger
该模块直接解码N层BERT编码器生成的向量h_N，采用两个相同的二元分类器，为每个token分配一个标记(0/1)表示当前token是否对应主体的起始和结束位置。

其中，x_i是输入序列中第i个token的编码表示，即x_i =h_N[i]。
主体标记器优化了以下似然函数识别句子x中主体s的跨度：
L是句子长度，z为true时I{z}=1，否则I{z}=0。yi∈{0,1}，参数θ={W_start,b_start,W_end,b_end}。
对于多主体检测，采用就近原则，不考虑起始token之前的token，这样匹配策略能够保持任意跨度实体的完整性。

Relation-specific Object Taggers
该模块同时识别客体以及与上一模块识别出的主体的相关关系，包含一组特定关系的客体标记器，与直接对h_N解码的主体标记器不同，客体标记器还考虑了主体的特征：
v${}_{sub}$${}^k$ 表示第k个主体，主体通常由多个token组成，为了使式(9)(10)中x_i和v${}_{sub}$${}^k$ 相加，需要保持两个向量维度一致。为此，作者取第k个主体开始token和结束token的平均向量表示作为v${}_{sub}$${}^k$ 。
标记器优化了以下似然函数，以确定给定句子表示x和主体s的客体的跨度。
y代表x中的token的二元标注，对于空客体，y=0。Ør = {W_start${}^r$,b_start${}^r$,W_end${}^r$,b_end${}^r$}

Data Log-likelihood Objective
对式(3)取对数：
分别在式(8)和式(11)中定义。

Results

在两个公共数据集上NYT，WebNLG评估这个框架。将句子分为Normal, EPO, SEO。
作者在BERT上实例化了CASREL框架，结合新的标记模式和预先学习的知识以获得更好的性能。为了评估引入Transfomer对BERT模型的影响，设置了一组消融实验：CASREL_random是BERT所有参数随机初始化；CASREL_LSTM是在LSTM结构上实例化的框架；CASREL使用了预先训练好的BERT权值。

Conclusions

本文从关系三元组抽取的一个公式出发，提出了一个新的级联二元标记框架(CASREL)。作者没有将关系建模为实体对的离散标签，而是将关系建模为将主体映射到客体的函数，这为重叠三元组提取提供了一个新的视角。作为结果，该模型可以同时从句子中提取多个关系三元组，而不会出现重叠问题。在两个广泛使用的数据集上进行了大量的实验，以验证提出的CASREL框架的有效性。实验结果表明，CASREL在不同的场景下，尤其是在重叠关系三元组的提取上，压倒性地优于最先进的基线。

源代码

源代码