关系分类论文解读笔记-2

ACL2020论文：A Novel Cascade Binary Tagging Framework for Relational Triple Extraction

github项目地址

Abstract

重叠三元组问题：一个句子中，不同的关系共享同一个实体。
解决方案：不是像以前的方案一样将关系视为离散的标签，我们的新框架将关系建模为函数，将句子中的主体subjects映射到客体objects中，自然地处理了重叠问题。

1 Introduction

先前对重叠三元组的研究仍有一些问题：1.分类不均衡，所有提取的实体对中，很多不能组成有效的关系，产生大量负样本；2.相同实体具体不同关系时分类器会产生问题。如果没有足够的训练实例，分类器很难分辨实体参与的是哪个关系。
框架的核心是将关系建模，作为将主体subhect映射到对象object的函数，而不是将关系视为实体对上的离散标签。更精确的讲，不是学习关系分类器f(s,o)->r，我们学习应用特定于关系的标记器（relation-specific taggers） fr(s)->o，每一个都能识别特定关系下给定实体的可能对象objects，或者不返回任何对象，表示不存在带有给定主题和关系的三元组。在这个框架下三元组提取分为两步：1.识别出句子中所有的候选主语subject;2.对于每个主语subject，我们应用特定于关系的标记器来同时识别所有可能的关系和对应的对象。
我们在CASREL中实现了上述想法，这是一个端到端的级联二进制标记框架。由三部分组成：BERT编码模块，主题标记模块，特定关系的对象标记模块。

2 Related work

…

3 The CASREL Framework

给定训练集D中的已标注句子xj和xj中一组可能重叠的三元组Tj={(s,r,o)}，目的是似然最大化训练集D的数据。
符号说明：
Tj|s：Tj中以s为主语的三元组集合
（r,o）∈Tj|s：Tj中以s为主语的(r,o)对
R：所有可能的关系集合
R\Tj|s：Tj中除s为首的所有关系
等式(2)应用了概率的链式法则，等式(3)的解释是：对于给定的一个主语s，任何与之有关的关系（in Tj|s）在一个句子xj中都会有对应的宾语object，其他所有关系都不会有对应的宾语，如null对象。
本文创新的标记策略在于：1.学习一种主题标记p(s|xj)标记出一个句子中的主语实体们subjects；2.对于每个关系r，我们学习一种宾语标记pr(o|s,xj)识别出对于一个给定主题的特定关系的宾语们objects。通过这种方式，我们可以将每个关系建模为一个将主题映射到对象的函数，而不是对(subject,object)对的关系进行分类。

3.1 BERT Encoder

这个编码模块从句子xj中提取特征信息Xj，并将其输入到后续的标记模块中。注意到在我们的研究中心，输入是一个单独的句子而不是一个句子对，所以没有将原始BERT模型中的段向量(segmentation embedding)考虑在内。

3.2 Cascade Decoder

级联编码器由两个模块组成，如上图所示：主体标记以及一组关系特定的客体标记器。

Subject Tagger

低层标注模块通过直接解码n层BERT编码器生成的已编码向量hN来识别输入句子中所有可能的主语subjects。更准确地说，它采用两个相同的二进制分类器，通过给每个标记分配一个二进制标签，分别检测主语subject的开始和结束位置(0/1)来指示当前标记是否对应于主语subject的开始位置或结束位置。对于多主语检测，我们采用最接近的起始-结束对匹配原则，根据起始和结束位置标记的结果来确定任意主语的跨度。

Relation-specific Object Taggers

高层是由一组特定关系的客体标记器组成，其结构与所有可能关系的低层模块中的主体标记器相同。所有客体标记器将同时为每个被检测主体识别相应的客体。所述高层模块能够同时识别出低层模块中检测到的主题的关系和客体。具体看例子说明。

4 Experiments

消融测试（ablation tests)：CASRELrandom框架中BERT的所有参数都是随机初始化的；CASRELlstm是基于lstm结构上实例化的框架，带有预训练的Glove embedding。 CASREL是使用预训练的BERT权值的成熟框架。

5 Conclusion

本文从关系型三元抽取的一个原则性问题公式出发，提出了一个新的级联二元标记框架(CASREL)。我们没有将关系建模为实体对的离散标签，而是将关系建模为将主体映射到客体的函数，这为关系三元组提取任务提供了一个新的视角。作为结果，我们的模型可以同时从句子中提取多个关系三元组，而不会出现重叠问题。我们在两个广泛使用的数据集上进行了大量的实验来验证。