Abstract
顺序解码器无法对重叠的实体提及建模,并且存在级联错误。为了解决这个问题,本文提出了一个直接对所有可能的span建模,并执行联合实体提及检测和关系提取模型。
1.Instruction
本文提出了一个简单的基于bi-lstm的模型,为每个可能的span生成span表示。然后将相同的span表示用于对所有检测到的实体提及对执行关系抽取。
2. Model
2.1 Span Representation Generation
给定具有T个token的文档D,可能存在的span为: N = T ( T + 1 ) / 2 N=T(T+1)/2 N=T(T+1)/2,span i由START<i>,END <i>表示span的开始和结尾,目标是为了获取每个span的span表示 g i g_i gi。
2.1.1 Raw Token Embeddings
对上下文嵌入使用固定的ELMo,对词嵌入、字符嵌入、从头开始训练,使用固定的Senna。考虑到相对较小的数据集,为了防止过拟合,作者只训练了字符嵌入。
对原始token
x
t
x_t
xt使用BiLSTM获得
x
t
∗
x_t^*
xt∗:
2.1.2 Span Representation
使用注意力来创建特定任务的span表示,每个span的特征向量为:
对于每个span i,其span 表示
g
i
g_i
gi表示为:
2.2 Entity Mention Detection
主要的功能是预测每个span的实体类型。通过计算实体类型得分的向量来预测实体类型。
2.3 Relation Extraction
本文仅考虑有序的二元关系(每一对有序的选择span),使两个span来同一个句子。对于每一对span,首先计算一个嵌入
r
i
,
j
r_{i,j}
ri,j的有序对:
使用嵌入
r
i
,
j
r_{i,j}
ri,j的有序对来计算关系类型得分的向量。
M
L
P
r
e
MLP_{re}
MLPre的输出大小以及
p
i
,
j
r
e
p_{i,j}^{re}
pi,jre的大小等于RE类的数量。
2.4 Loss
3. Experiments
4. 启示
- span提取的方法非常经典,有必要复现一下这篇论文的代码。
- 老生常谈的问题:计算每一对span的关系,所需要的时间复杂度比较大