Joint entity recognition and relation extraction as a multi-head selection problem

Abstract

实体识别和关系抽取比较依赖NLP工具（词性标记POS、依赖关系等），本文提出一种不需要人工或工具提取特征并且能同时进行实体和关系等候区的模型，即使用CRF抽取实体，将关系抽取看做多头选择问题，为每一个实体识别潜在的多种关系（实体重叠）。

Model

本文将联合关系抽取建模为一项多头选择问题（一个特定的实体可能涉及到与其他实体的多种关系），模型能够同时识别实体（类型和边界）以及它们之间的关系。

• Embedding Layer
  • 将word进行词嵌入
• Bi-LSTM Encoder Layer
  • 得到双向的信息：$h_i=[\overrightarrow{h_i};\overleftarrow{h_i}]$
• Named Entity Recognition
  • 计算每个实体$w_i$对应的所有标签得分：$s^e(h_i)=v^{e}f(U^e{h}_i+b^e)$
  • $f$表示激活函数，$V^e\in R^{p\times l},U^e\in R^{l\times 2d},p$是识别的标签个数
  • 给定的token$w_i$的候选tags的概率：$Pr(tag|w_i)=\text{softmax}(s(h_i))\in R^p$
  • 采用共享参数的方式进行关系抽取，即使用实体标签作为输入，输入到关系提取层学习标签嵌入，因此关系抽取层的输入由两个：
    • LSTM的输出$h_i$，学习到的标签嵌入表示$g_i$
    • $z_i=[h_i;g_i]$
• Relation Extraction as Multi-head Selection
  • 采用多头选择时，为了避免造成信息冗余，只判断每个实体的最后一个token与其他实体的最后一个token的关系，而每体的最后一个token被称为head
  • 对于每个head，需要预测二元组$(\stackrel{\wedge }{y_i},\stackrel{\wedge }{c_i})$，其中前者代表头实体（subject），后者是关系
    • 给定一个序列$w$和一个关系标签$\mathcal{R}$作为输入，目标是为每个token $w_i$标识最有可能的head和最有可能的对应关系标签$\stackrel{\wedge }{r_i}\in \mathcal{R}$
    • 给定标签$r_k$的情况下，计算$w_i$和$w_j$之间的分数为：$s^r=V^{r}f(U^r{z}_j+W^r{z}_i+b^r)$
    • 将分数映射成概率:$Pr(head=w_j,label=r_k|w_i)=\sigma (s^r(z_j,z_i,r_k))$

Result

启示

1. 将其转换为多头选择的方法在这个领域具有开创性，ACE04的分数竟然没想到这么高，还在没用BERT的情况了，牛皮。
2. 选择头的算法可以将其转换为选择尾的。