（转）实体关系抽取 entity relation extraction 文献阅读总结

转载自：http://www.cnblogs.com/theodoric008/p/7874373.html

传统的关系抽取方法总结：

基于句法解析增强的方法，Milleret al. 2000
基于逻辑回归的方法，Kambhatla 2004
基于核函数的方法，Zhao and Grishman 2005; Bunescu and Mooney 2006
基于条件随机场的方法,Culotta et al. 2006

远程监督,Distant supervision,Mintz et al. 2009
基于无向图模型的关系抽取方法,Yao et al. 2010
增强远程监督的假设,Riedel et al. 2010
改进实体对齐,Takamatsuet al. 2012

多实例多标签,Hoffmann etal. 2011
多标签多实例+贝叶斯网络,Surdeanu etal. 2012

基于深度学习的关系抽取方法：

RNN，Socher et al. 2012

[Socher et al. 2012] 提出使用递归神经网络来解决关系抽取问题。该方法首先对句子进行句法解析，然后为句法树上的每个节点学习向量表示。通过递归神经网络，可以从句法树最低端的词向量开始，按照句子的句法结构迭代合并，最终得到该句子的向量表示，并用于关系分类。该方法能够有效地考虑句子的句法结构信息，但同时该方法无法很好地考虑两个实体在句子中的位置和语义信息。

CNN，Zeng et al. 2014

他们采用词汇向量和词的位置向量作为卷积神经网络的输入，通过卷积层、池化层和非线性层得到句子表示。通过考虑实体的位置向量和其他相关的词汇特征，句子中的实体信息能够被较好地考虑到关系抽取中。

CNN，新的损失函数,Santos et al. 2015

后来，[Santos et al. 2015]还提出了一种新的卷积神经网络进行关系抽取，其中采用了新的损失函数，能够有效地提高不同关系类别之间的区分性。

CNN，扩展至远程监督，Zeng et al. 2015

理解远程监督 a glance at Distant Supervision

什么是远程监督呢？一开始是因为觉得人工标注数据比较费时费力，那么就有人想来个自动标注的方法。远程监督就是干这个事儿的。

假设知识库KB当中存在实体与实体的关系，那么将KB当中的关系引入到正常的自然语言句子当中进行训练，例如‘苹果’和’乔布斯’在KB中的关系是CEO，那么我们就假设类似于“【乔布斯】发布了【苹果】的新一代手机”的句子上存在CEO的关系，如此，利用KB对海量的文本数据进行自动标注，得到标注好的数据（正项），再加入一些负项，随后训练一个分类器，每个分类是一个关系，由此实现关系抽取。

09年的文章就是这个思想：在KB中有一个triplet，那么在corpus中凡是有这个entity pair的sentence全都当成含有这个relation的instance

后来陆续有了一些改进。

过气模型:) not-state-of-the-art

论文名称：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

论文信息：Zeng et al. 2015 EMNLP

模型名称：PCNN

论文内容：PCNN提取特征，multi-instance

论文名称：Bidirectional Recurrent Convolutional Neural Network for Relation Classification

作者信息：Rui Cai 2016 ACL

模型名称：BRCNN

论文内容：本文提出了一个基于最短依赖路径（SDP）的深度学习关系分类模型，文中称为双向递归卷积神经网络模型（BRCNN）

dataset：　　英文

SemEval- 2010 Task 8 dataset (Hendrickx et al., 2009).数据集含有9个关系（包括NA） 10717个标注的example: 8000 train, 2717 test

论文名称：End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

作者信息：Miwa et al. 2016
模型名称：BiLSTM SPTree

论文内容：标题很显然了..基于很多nlp基础知识构建特征。

ACE05 and ACE04 用于joint

SemEval-2010 Task 8 用于re

最新高科技:) state of the art

论文名称：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

作者信息：中科大自动化所 Zhou

模型名称：Att+BLSTM

论文内容：对word做embedding, attention训练每个word的weight,输出一句话的vector并进行分类，一个句子对应一个关系

dataset:　　英文

SemEval-2010 Task 8 dataset (Hendrickx et al., 2009).数据集含有9个关系（包括NA） 10717个标注的example: 8000 train, 2717 test

论文名称：Neural Relation Extraction with Selective Attention over Instances
作者信息：清华 Lin et al. 2016
模型名称：CNN+ATT / PCNN+ATT

论文内容：句子级别的attention, 先把句子->vector, 然后vectors->relation representation, attention训练每个句子所占的权重，最后得到一个句子set对应的relation representation

dataset:　　英文

re用的最多的NYT iesl.cs.umass.edu/riedel/ecml… 出自：Riedel et al., 2010

Hoffmann et al., 2011; Surdeanu et al., 2012 也使用过

通过对齐Freebase和New York Times corpus, NER用Stanford NER工具做的，并和Freebase实体match。53种关系（包括NA）

train set:　　522611 sentences　　281270 entity pairs　　18252 relational facts

test set:　　172,448 sentences　　96,678 entity pairs　　1,950 relational facts

• 结合以上两篇论文有以下代码（python3 tensorflow1.4 已经跑通）：

github.com/crownpku/In…

dataset:　　中文

貌似是作者标的数据集？只有1k+100..

论文名称：NUERAL RELATION EXTRACTION WITH MULTI-LINGUAL ATTENTION
作者信息：清华 Lin et al. 2017
模型简称：MNRE
论文内容：将(P)CNN+ATT(上面那篇)扩展到多语言语料库上，利用多语言之间的信息 zhuanlan.zhihu.com/p/29970617，有几个要点：短句子比长句子更能精准表达语义，并且是跨语言的

dataset:　　中英文

本文原创数据集，中文句子是中文百度百科对齐到Wikidata,英文句子是将英文维基百科对齐到Wikidata

wikidata: https://dumps.wikimedia.org/other/wikidata/

论文名称：Deep Residual Learning forWeakly-Supervised Relation Extraction

作者信息：Yi Yao Huang 台湾国立大学 EMNLP 2017
模型名称：ResCNN-x

论文内容：就是将ResCNN应用到re上，对比的是一众CNN模型，效果还不错。zhuanlan.zhihu.com/p/31689694

dataset:　　英文

还是NYT

论文名称：Overcoming Limited Supervision in Relation Extraction: A Pattern-enhanced Distributional Representation Approach

作者信息：ACM 2016
模型名称：REPEL

论文内容：这篇文章比较有意思，非常值得一看。没有用深度学习，而是两个朴素的模型互相迭代，运用了半监督学习的思想。不过没有代码，如果实验结果可以浮现，那么意义还是比较大的。zhuanlan.zhihu.com/p/32364723。笔记是我写的。

数据集换了，没细看，反正不是NYT.

论文名称：Cross-Sentence N-ary Relation Extraction with Graph LSTMs

作者信息：ACL 2017
模型名称：Graph LSTM

论文内容：这个就是提出了一种图形LSTM结构，本质上还是利用了SDP等可以利用的图形信息。别的部分没有什么特别的。zhuanlan.zhihu.com/p/32541447

以上介绍的是关系抽取，建立在NER的基础上，接下来讨论joint模型

论文名称：CoType: Joint Extraction of Typed Entities and Relations with Knowledge Bases
作者信息：Ren2017
模型名称：CoType

论文内容：最为复杂的一篇了。需要很多知识，不过最后模型改进的性能有限。觉得还是因为特征工程的感觉太多。才疏学浅。。。 https://zhuanlan.zhihu.com/p/23635696

dataset:　　英文

NYT， Wiki-KBP ，BioInfer

代码在这里：github.com/shanzhenren…

论文名称： joint extractions of entities and relations based on a novel tagging scheme
作者信息： Zheng 2017 中科院自动化所
模型名称：LSTM-CRF, LSTM-LSTM,LSTM-LSTM-Bias

论文内容：把关系抽取内容转换成序列标注任务 zhuanlan.zhihu.com/p/31003123

dataset:　　英文

还是NYT

论文名称：Distant Supervision for Relation Extraction with Sentence-Level Attention and Entity Descriptions

作者信息：Ji 2017 中科院自动化所 AAAI 2017

模型名称：

论文内容：引入实体描述信息，没什么亮点 zhuanlan.zhihu.com/p/35051652

dataset:　　英文

还是NYT

论文名称：Large Scaled Relation Extraction with Reinforcement Learning

作者信息： Zeng 2018 中科院自动化所 AAAI 2018

模型名称：PE + REINF

论文内容：套用强化学习的概念 zhuanlan.zhihu.com/p/34811735

dataset:　　英文