Joint Extraction of Entities and Overlapping Relations Using Position-Attentive Sequence Labeling论文

• 摘要
  联合实体抽取使用一个模型进行实体和关系检测。本文的方法是根据问题单词的位置p 直接标注实体和关系的标签，在其他位置识别与前者有关系的实体。
  作者首先设计了一种标记机制给n个单词的句子生成 n 个标签序列，然后提出基于位置注意力机制了为每个查询位置生成不同的句子表示来对n标签序列建模。这样的话，我们就可以抽取到所有的实体和他们的类型，还有重叠的关系。
  文章的创新点和贡献

1. 提出一种标注策略，可以同时展示实体的类型和重叠的关系
2. 提出一个基于位置注意的机制，根据查询位置p生成不同的位置感知语句表示，用于解码不同的标签序列，提取重叠关系。
3. 实验结果表明方法的有效性，也表明在长句子上的优势。

• 引言
  关系重叠的概念：
  
  可以分成三类：

4. 不重叠 2. 有一个实体重叠 3. 两个实体都重叠

• 方法概述：
  给出一个查询位置 p 模型会给出两个信息 一个是 p 位置的实体和实体类型是什么 二是 和 p 位置有关的实体
  在作者的这个方法中需要注意的一点是，关系的方向不是双向的也就是说，通过主体（Entity1） 寻找 客体（Entity2），反之则不行
  
• 方法详述

1. 标注策略
   采用BIES策略标注 Begin Inside End Single来表示实体的中单词的位置，比如New York New B-Loc York E-Loc
   当查询 p 位置时，如果这个位置的单词是实体的开始，那么 这个单词就会被标注实体类型，并且 其他的实体如果 和 这个实体有关系，那么就把关系类型标注给这个实体。实体1 可以使用多次 ，对实体重叠问题有缓解

2. 带有位置注意力的端到端的序列标注
   编码器 BiLSTM 解码器CRF
   假设一个句子有n个单词，首先将这些单词转成单词级别的d维词向量表示，由于OOV（Out of vocabulary）对于实体来说很常见，所以使用字符级别的表示来增强单词表示。字符级别的表示使用CNN
   将单词级别的表示和字符级别的表示拼接形成单词的表示，放入BiLSTM神经网络中进行序列建模。
   
   p是查询位置，t 是 BiLSTM 进行编码的第 t 个单词，j 是 从第一个单词开始的计数
   
   Stj表达式的含义：比较hp，ht 与 每个时间步的隐状态 hj的分数
   aij是归一化后的分数

hp是我们关注位置的隐状态，ht用于将句子表示与自身(自匹配)进行匹配，从上下文中收集信息，hk是从位置1到n的时间步，用于计算每个隐状态的注意力分数

由此得出每个时间步的向量表示，这个向量包含了上下文感知和位置感知的信息。

这里使用位置感知的思路参考了《Gated Self-Matching Networks for
Reading Comprehension and Question Answering》文章中的self-matching
【先用问题向量和文章进行注意力计算，再进行文章内部的注意力计算】
本文的做法是直接使用位置向量 当前的向量 及上下文向量进行注意力计算。

3. 条件随机场解码器
   考虑相邻标签之间的关联性在序列标注任务中证明是有效的，因此使用CRF进行联合解码。
   
   
   A 是状态转移矩阵，Ai,j表示从标签 i 到 标签 j 的分数

求出条件概率，Yz是标签集

最大化似然函数

通过维特比算法解码