[论文解读]End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

• 论文地址：https://arxiv.org/pdf/1601.00770.pdf
• 发表会议：ACL2016

这篇论文应该算是利用神经网络进行实体和关系联合抽取的开山鼻祖。

---

• 结构
  

从上图可以看出，网络结构主要包含三部分：

1. embedding layer
   embedding主要有4部分，word embedding，pos embedding，dependency embedding（依赖关系），label embedding（预测出的实体label）。
2. sequence layer
   sequence layer 完成的主要是对word/pos embedding的编码，这里使用了Bi-LSTM。然后接入softmax进行标签分类，标签体系采用了BILOU，同时利用了pretrain entity和scheduled sampling。
3. dependency（relation）layer
   dependency layer采用了依存树结构，树中的节点通过Bi-LSTM连接。遍历所有预测出的实体的最后一个word（BIL的最后一个word或U对应的word）的所有组合，做为候选的word-pair。预测时，word-pair中的每个实体由三个向量拼接表示：对应的label-embedding,对应的sequence layer的hidden unit，与父节点的dependency embedding。然后在依存树中找到连接这两个实体的最短路（sptree）（有论文证实最短路有利于分析实体间的关系）。然后利用最短路通过softmax输出它们之间的关系，比如图中的Yates和Chicage就是一个word-pair，其中Yates的label是预测出的BL的组后一位L，Chicage的label是U，在依存树中它们的最短路如图所示。这也是本文的核心内容，看似依旧是pipeline式的抽取，但由于sequence layer的参数和embedding层的参数是用到了dependency layer的，就是说参数是共享的，所以实体抽取和关系抽取是互相影响的，但是并没有做到真正的联合抽取，因为是先抽取出实体，然后得到所有实体对之间的关系。

• 其他

1. 依存树中相同种类的孩子共享参数，作者用m(）函数来表示孩子的种类。这样有几种类型的孩子就有几套参数。
2. 在刻画word-pair之间的关系时，除了sptree，作者还试了fulltree（利用连接两个实体的根节点）和subtree（利用连接两个实体的最低共同祖先），最后作者结合了这三种结构。
3. 依存树的输出是两个值，一个是关系，一个是关系的方向。
4. sequence layer对关系分类的贡献是间接的，另外由于是只用了word（实体的最后一个word）来表示实体，所以利用的实体信息不够。基于以上两点，作者分别把word-pair中所代表的所有实体words的sequence layer编码做了平均，然后与denpendency layer的输出做一个拼接，做为最后relation softmax的输入。这一点作者在结构图中没有画出。

• 创新点
  首次利用依存树结构和深度网络结合来进行实体和关系抽取，为以后联合抽取实体和关系奠定了基础。