论文学习15-Table Filling Multi-Task Recurrent Neural Network(联合实体关系抽取模型）

Gupta, P., et al. (2016). Table filling multi-task recurrent neural network for joint entity and relation extraction. Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers.

abstract

摘要提出了一种新的基于词的语义组合的上下文感知联合实体和词级关系提取方法，提出了一种多任务递归神经网络(TF-MTRNN)模型，将实体识别和关系分类任务简化为表格填充问题，并对它们之间的相关性进行了建模。该神经网络结构能够在不知道句子中对应关系参数的情况下对多个关系实例进行建模。实验结果表明，一种利用候选实体对关联实体之间的标签依赖关系进行建模的简单方法可以提高性能。我们在CoNLL04数据集上展示了最新的结果，实体识别和关系分类分别提高了2.0%和2.7%。

• 简化为表格填充问题
• 多任务RNN
• 对相关性建模
• 多关系

1 introduction

关系分类的任务是预测带注释的名词对(也称为关系参数)之间的语义关系。这些注释，例如参与关系的命名实体对，通常很难获得。传统方法通常是基于两个独立的子任务的管道:实体识别(ER1)和关系分类(RC),首先检测命名实体,然后执行关系分类检测实体提到,因此忽略了潜在的相互依赖关系和传播错误分类实体识别的关系。这两个子任务一起称为端到端关系提取。
关系分类是一个句子层次的多类分类问题，它通常假定句子中只有一个关系实例。通常认为实体识别影响关系分类，但关系分类不影响实体识别。在这里，我们用实验证据来证明后者是不正确的。例如，在图1中，PER和ORG实体之间存在关系Work For, ORG和LOC之间存在ORGBased，而LOC和LOC实体之间存在ORGBased。相反，对于具有关联关系的给定单词，可以检测候选实体类型。例如，在图2中，对于给定的关系，假设位于，候选实体对是(LOC, LOC)。因此，这两个任务是相互依赖的，通过提出的子任务联合建模和简单的piggybacking方法，优化单一网络，ER和RC对候选实体对的相互依赖关系进行建模，并实现相应的关系。
联合学习方法(Roth和Yih, 2004;Kate和Mooney, 2010)在复杂的多个独立模型上为子任务建立联合模型。(Miwa和Sasaki, 2014)提出了一种联合实体和关系提取方法，使用基于历史的结构化学习和表表示;然而，它们明确地合并实体关系标签的相互依赖性，使用复杂的特性和搜索启发式来填充表。此外，其最先进的方法是结构化预测，而不是基于神经网络框架。然而，递归和卷积神经网络等深度学习方法(Zeng et al.， 2014;张，王，2015;Nguyen和Grishman, 2015)对待关系分类是一个句子级的多类分类，依赖于句子中提供的关系参数。因此，它们不能在一个句子中处理多个关系实例，并且不能检测到参与检测到的关系的相应的实体提及对。

• 以前NN的方法没有多关系
• 本文贡献
  • 提出了一种新的表格填充多任务递归神经网络
    • 减少了搜索启发式和显式实体和关系标签依赖
    • 多关系
  • 使用一种简单的方法为单词(从每个单词的关联类型派生而来)附带候选命名实体，从而对标签依赖关系进行建模
    • 共享模型参数和表示

1. 提出了一种新的表格填充多任务递归神经网络，通过统一的多任务递归神经网络对实体识别和关系分类任务进行联合建模。我们使用实体关系表表示来检测单个框架中的实体提及对和对应关系。它减少了联合实体和关系学习中对搜索启发式和显式实体和关系标签依赖的需要。据我们所知，这是首次尝试通过多任务递归神经网络来联合建模实体和关系提取任务之间的相互依赖关系。
   本文提出了一种基于上下文感知的RNN框架的词对合成的句子级关联学习方法。我们的方法相对于最先进的方法，如CNN和RNN，在关系分类上有显著的优势，因为我们不需要标记的名词性，并且可以在一个句子中建模多个关系实例。
2. 有命名实体标签对于发现它们之间的关系类型是非常有用的，反之亦然，有命名实体标签之间的关系类型可以减轻命名实体标签的问题。因此，使用一种简单的方法为单词(从每个单词的关联类型派生而来)附带候选命名实体，从而对标签依赖关系进行建模，从而改进了系统的性能。此外，该网络中的顺序学习方法通过共享模型参数和表示来学习实体和关系标签依赖关系，而不是显式地对它们建模。</