关系抽取-学术界

最新推荐文章于 2024-04-13 09:44:04 发布
最新推荐文章于 2024-04-13 09:44:04 发布
阅读量533 收藏 5
点赞数
文章标签： 知识图谱 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ox180x/article/details/124095208
版权

关系抽取调研——学术界

目录

1. 任务

1.1. 任务定义

自动识别句子中实体之间具有的某种语义关系。根据参与实体的多少可以分为二元关系抽取(两个实体)和多元关系抽取(三个及以上实体)。

通过关注两个实体间的语义关系，可以得到(subject, relation, object)三元组，其中subject和object表示两个实体，relation表示实体间的语义关系。

根据处理数据源的不同，关系抽取可以分为以下三种：

  • 面向结构化文本的关系抽取：包括表格文档、XML文档、数据库数据等
  • 面向非结构化文本的关系抽取：纯文本
  • 面向半结构化文本的关系抽取：介于结构化和非结构化之间

根据抽取文本的范围不同，关系抽取可以分为以下两种：

  • 句子级关系抽取：从一个句子中判别两个实体间是何种语义关系
  • 语料(篇章)级关系抽取：不限定两个目标实体所出现的上下文

根据所抽取领域的划分，关系抽取又可以分为以下两种：

  • 限定域关系抽取：在一个或者多个限定的领域内对实体间的语义关系进行抽取，限定关系的类别，可看成是一个文本分类任务
  • 开放域关系抽取：不限定关系的类别

限定域关系抽取方法：

  • 基于模板的关系抽取方法：通过人工编辑或者学习得到的模板对文本中的实体关系进行抽取和判别，受限于模板的质量和覆盖度，可扩张性不强
  • 基于机器学习的关系抽取方法：将关系抽取看成是一个分类问题

1.2. 数据集

  • ACE 2005

    数据集简介：ACE2005语料库是语言数据联盟(LDC)发布的由实体，关系和事件注释组成的各种类型的数据，包括英语，阿拉伯语和中文培训数据，目标是开发自动内容提取技术，支持以文本形式自动处理人类语言。ACE语料解决了五个子任务的识别：entities、values、temporal expressions、relations and events。这些任务要求系统处理文档中的语言数据，然后为每个文档输出有关其中提到或讨论的实体，值，时间表达式，关系和事件的信息。

    获取方式：数据集收费，需在LDC联盟的官网上注册再购买，LDC账号注册地址 ACE 2005 下载地址

  • TACRED

    数据集简介：TACRED(TAC Relation Extraction Dataset)是一个拥有106264条实例的大规模关系抽取数据集，这些数据来自于每年的TAC KBP(TAC Knowledge Base Population)比赛使用的语料库中的新闻专线和网络文本。包含了41关系类型，此外若句子无定义关系，被标注成no_relation类型。数据集的详细介绍可以访问TACRED文档

    获取方式：数据集收费，需在LDC联盟官网注册会员再购买 LDC账号注册地址 TACRED 下载地址

  • SemEval2010_task8

    image-20201005102419115

    数据集简介:对于给定了的句子和两个做了标注的名词，从给定的关系清单中选出最合适的关系。数据集一共9种关系类别数，此外包含一类Other关系，含有6674实例数量。

    获取方式: 原始数据

  • FewRel

    数据集简介:FewRel是目前最大规模的精标注关系抽取数据集，由孙茂松教授领导的清华大学自然语言处理实验室发布。一共100种关系类别数，含有70000实例数量。

    获取方式：FewRel 网站地址 论文地址

  • NYT10

    NYT-10数据集文本来源于纽约时报，命名实体是通过 Stanford NER 工具并结合 Freebase 知识库进行标注的。实体对之间的关系是链接Freebase知识库中的关系，结合远监督方法所得到。该数据集共含有53种关系类型，包括特殊关系类型NA，即头尾实体无关系。

    获取方式:原始数据

获取更多关系抽取数据集，可访问此处Annotated-Semantic-Relationships-Datasets

1.3. 评测标准

二分类：

Accuracy = (预测正确的样本数)/(总样本数)=(TP+TN)/(TP+TN+FP+FN)

Precision = (预测为正例且正确预测的样本数)/(所有预测为正例的样本数) = TP/(TP+FP)

Recall = (预测为正例且正确预测的样本数)/(所有真实情况为正例的样本数) = TP/(TP+FN)

F1 = 2 (Precision Recall) / (Precision + Recall )

多分类：

Macro Average

多类别(N类) F1/P/R的计算，即计算N个类别的F1/P/R，每次计算以当前类别为正例，其他所有类别为负例，最终将各类别结果求和并除以类别数取平均。

Micro Average

统计当前类别的TP、TN、FP、FN数量，再将该四类样本数各自求和作为新的TP、TN、FP、FN，计算F1/P/R公式同二分类。

P@N(最高置信度预测精度):

通常在远监督关系抽取中使用到，由于知识库所含关系实例的不完善，会出现高置信度包含关系实例的实体对被叛为负例，从而低估了系统正确率。此时可以采用人工评价，将预测结果中知识库已包含的三元组移除，然后人工判断抽取关系实例是否正确，按照top N的准确率对抽取效果进行评价。

1.4. SOTA

Relation Extraction on TACRED：

模型average F1论文题目年份论文链接code
BERTEM+MTB71.5Matching the Blanks: Distributional Similarity for Relation Learning2019https://arxiv.org/pdf/1906.03158v1.pdfhttps://github.com/plkmo/BERT-Relation-Extraction
KnowBert-W+W71.5Knowledge Enhanced Contextual Word Representations2019https://arxiv.org/pdf/1909.04164v2.pdf
DG-SpanBERT71.5Efficient long-distance relation extraction with DG-SpanBERT2020https://arxiv.org/pdf/2004.03636v1.pdf
SpanBERT70.8SpanBERT: Improving Pre-training by Representing and Predicting Spans2019https://arxiv.org/pdf/1907.10529v3.pdfhttps://github.com/facebookresearch/SpanBERT
R-BERT69.4Enriching Pre-trained Language Model with Entity Information for Relation Classification2020https://arxiv.org/pdf/1905.08284v1.pdfhttps://github.com/wang-h/bert-relation-classification
C-GCN + PA-LSTM68.2Graph Convolution over Pruned Dependency Trees Improves Relation Extraction2018https://arxiv.org/pdf/1809.10185v1.pdfhttps://github.com/qipeng/gcn-over-pruned-trees

Relation Extraction on SemEval-2010 Task 8：

模型average F1论文题目年份论文链接code
Skeleton-Aware BERT90.36Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts2019https://arxiv.org/pdf/1912.01858v1.pdfhttps://github.com/wang-h/bert-relation-classification
EPGNN90.2Improving Relation Classification by Entity Pair Graph2019http://proceedings.mlr.press/v101/zhao19a/zhao19a.pdf
BERTEM+MTB89.5Matching the Blanks: Distributional Similarity for Relation Learning2019https://arxiv.org/pdf/1906.03158v1.pdfhttps://github.com/plkmo/BERT-Relation-Extraction
R-BERT89.25Enriching Pre-trained Language Model with Entity Information for Relation Classification2020https://arxiv.org/pdf/1905.08284v1.pdfhttps://github.com/wang-h/bert-relation-classification
KnowBert-W+W89.1Knowledge Enhanced Contextual Word Representations2019https://arxiv.org/pdf/1909.04164v2.pdf
Entity-Aware BERT89Extracting Multiple-Relations in One-Pass with Pre-Trained Transformers2019https://arxiv.org/pdf/1902.01030v2.pdfhttps://github.com/helloeve/mre-in-one-pass

Relation Extraction on ACE 2005：

模型RELATION F1ENTITY F1SENTENCE ENCODER论文题目年份论文链接code
MRC4ERE++62.185.5BERT baseAsking Effective and Diverse Questions: A Machine Reading Comprehension based Framework for Joint Entity-Relation Extraction2020https://www.ijcai.org/Proceedings/2020/0546.pdfhttps://github.com/TanyaZhao/MRC4ERE
Multi-turn QA60.284.8BERT baseEntity-Relation Extraction as Multi-Turn Question Answering2019https://arxiv.org/pdf/1905.05529v4.pdf
MRT59.683.6biLSTMExtracting Entities and Relations with Joint Minimum Risk Training2018https://www.aclweb.org/anthology/D18-1249
GCN59.184.2biLSTMJoint Type Inference on Entities and Relations via Graph Convolutional Networks2019https://www.aclweb.org/anthology/P19-1131
Global57.583.6biLSTMEnd-to-End Neural Relation Extraction with Global Optimization2017https://www.aclweb.org/anthology/D17-1182
SPTree55.683.4biLSTMEnd-to-End Relation Extraction using LSTMs on Sequences and Tree Structures2016https://arxiv.org/pdf/1601.00770v3.pdfhttps://github.com/tticoin/LSTM-ER

Relation Extraction on ACE 2004：

模型RELATION F1ENTITY F1论文题目年份论文链接code
DYGIE59.787.4A General Framework for Information Extraction using Dynamic Span Graphs2019https://arxiv.org/pdf/1904.03296v1.pdfhttps://github.com/luanyi/DyGIE
Multi-turn QA49.483.6Entity-Relation Extraction as Multi-Turn Question Answering2019https://arxiv.org/pdf/1905.05529v4.pdf
SPTree48.481.8End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures2016https://arxiv.org/pdf/1601.00770v3.pdfhttps://github.com/tticoin/LSTM-ER
multi-head + AT47.4581.64Adversarial training for multi-context joint entity and relation extraction2018https://arxiv.org/pdf/1808.06876v3.pdfhttps://github.com/bekou/multihead_joint_entity_relation_extraction
multi-head47.1481.16Joint entity recognition and relation extraction as a multi-head selection problem2018https://arxiv.org/pdf/1804.07847v3.pdfhttps://github.com/bekou/multihead_joint_entity_relation_extraction
Attention45.779.6Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees2017https://www.aclweb.org/anthology/P17-1085

Relation Extraction on NYT：

模型average F1论文题目年份论文链接code
REDN89.8Downstream Model Design of Pre-trained Language Model for Relation Extraction Task2020https://arxiv.org/pdf/2004.03786v1.pdfhttps://github.com/slczgwh/REDN
CASREL89.6A Novel Cascade Binary Tagging Framework2019https://arxiv.org/pdf/1909.03227v4.pdfhttps://github.com/weizhepei/CasRel
HBT89.5A Novel Cascade Binary Tagging Framework for Relational Triple Extraction2019https://arxiv.org/pdf/1909.03227v4.pdfhttps://github.com/weizhepei/CasRel
WDec84.4Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extraction2019https://arxiv.org/pdf/1911.09886v1.pdfhttps://github.com/nusnlp/PtrNetDecoding4JERE
ETL-Span78.0Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy2019https://arxiv.org/pdf/1909.04273v3.pdfhttps://github.com/yubowen-ph/JointER
CopyRE’ OneDecoder72.2CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning2019https://arxiv.org/pdf/1911.10438v1.pdfhttps://github.com/WindChimeRan/CopyMTL

Relation Extraction on CoNLL04：

模型RELATION F1ENTITY F1论文题目年份论文链接code
SpERT71.4788.94Span-based Joint Entity and Relation Extraction with Transformer Pre-training2019https://arxiv.org/pdf/1909.07755v3.pdfhttps://github.com/markus-eberts/spert
Multi-turn QA68.987.8Entity-Relation Extraction as Multi-Turn Question Answering2019https://arxiv.org/pdf/1905.05529v4.pdf
Global67.885.6End-to-End Neural Relation Extraction with Global Optimization2017https://www.aclweb.org/anthology/D17-1182
Biaffine attention64.4086.20End-to-end neural relation extraction using deep biaffine attention2018https://arxiv.org/pdf/1812.11275v1.pdfhttps://github.com/datquocnguyen/jointRE
Relation-Metric with AT62.2984.15Neural Metric Learning for Fast End-to-End Relation Extraction2019https://arxiv.org/pdf/1905.07458v4.pdf
multi-head62.0483.9Joint entity recognition and relation extraction as a multi-head selection problem2018https://arxiv.org/pdf/1804.07847v3.pdfhttps://github.com/bekou/multihead_joint_entity_relation_extraction

Relation Extraction on FewRel：

模型average F1论文题目年份论文链接code
ERNIE88.32ERNIE: Enhanced Language Representation with Informative Entities2019https://arxiv.org/pdf/1905.07129v3.pdfhttps://github.com/thunlp/ERNIE

2. 方法总结

2.1. 基于模式挖掘的方法

2.1.1. 基于模板匹配的方法

模板匹配：在关系分类中应用广泛。对于给定实体对的一段文本，基于现有模板库进行上下文匹配。若结果满足模板对应关系类别，则将该关系类别作为实体对之间的关系。

常见的模板匹配方法主要包括：

  • 人工模板：常见于判断实体间存在的上下位关系。基本出发点是统计和总结关系模式，通过专家定义寻找关系在上下文中表达的字符，语法及语义特征，将此作为模式与文本进行匹配，进行关系实例的获取。

  • 统计生成：无须人工构建，主要基于搜索引擎进行统计模板抽取。具体地，将已知实体对作为查询语句，抓取搜索引擎返回的前n个结果文档并保留包含该实体对的句子集合，寻找包含实体对的最长字串作为统计模板，保留置信度较高的模板用于关系分类。

    (Marti A. Hearst 1992) [1]在该文中提出一种从不受限制的文本中自动获得下位词法关系的方法，用于提取分类关系is-a的实例：

示例：

句子中上下位关系，比如hyponym(China; Asia countries)。从下面两个句子中都可以抽取出这种关系：

  • Asia countries, especially China, Japan, and India…
  • Asia countries, such as China, Japan, and India…

两个实体之间的especially和such as可以看做这种关系的特征。通过寻找更多表达这种关系的句子，构造规则模板，即可用于抽取构成上下位关系的实体，从而发现新的三元组。

总结：

优点：

  • 该方法准确率较高。
  • 从某种意义上说，这是一种假设的工作，Hearst文中没有给出实验结果，但它对追随者影响很大，是之后Bootstraping方法的开篇之作。

缺点：

  • 召回率较低，且关系类别有限，仅仅包含is-a的关系。
  • 适用性有限，难以移植
2.1.2. 基于依存句法

基于NLP工具(常见的有Stanford CoreNLP、spaCy、LTP、HanLP等)获取句子相关特征，对处理结果一般进行如下处理：

  1. 输入文本完成分词、词性标注、命名实体识别、依存分析等处理步骤。
  2. 基于语法规则抽取出相关语法信息，如 “主谓宾”、“定状补”等，从而得到句子中各成分之间的联系和关系。
  3. 利用各成分之间相互关联关系总结出诸如定中关系，定语后置关系等抽取规则。
  4. 设定规则模板，并根据规则对抽取结果进行严格测试与调优。
示例

下面介绍一组基于LTP(语言技术平台)工具进行规则抽取三元组的例子：

  • 输入文本：杨燕萍，女，中国共产党党员，系江西省第十一届政协主席许爱民的妻子。

  • 经LTP得出依存句法分析结果：

​ 依存句法分析结果示例

​ 依存句法关系类型说明

由图示可知，可以以谓语动词为出发点构建规则，对节点上词性以及边上的关系进行设定。当前句子核心谓词是“系”，从前向后遍历句子解析结果可以从“主席”开始分析，由于“主席”与左右两侧词汇均构成定中关系且两侧词汇均被识别为命名实体。由此，可以提取出一项(政协，主席，许爱民)定中关系三元组。

总结

手写规则的 优点 ：

  • 人工设定规则，准确率高(high-precision)
  • 结合专家知识，进行特定领域定制
  • 构建简单，适合小规模关系类别数据

缺点：

  • 规则总结无法穷尽，导致低召回率(low-recall)
  • 所有关系类别须定义相关规则pattern，耗时耗力
  • 难以维护及跨领域移植

2.2. 监督学习

2.2.1. 机器学习
2.2.1.1. 基于特征向量的方法

基于特征向量的方法是一种简单且行之有效 的关系抽取运用。其主要思想为：给定关系句子实例，从上下文中提取出具有类间区分度的特征(如词法信息，语法信息等)，构造形成多维度加权特征向量，选取合适的分类器进行关系抽取模型训练。

基于特征向量的方法需要解决的三个基本问题：特征项选取，特征权重计算和分类器选择。

  • 特征项。作为向量模型的骨架，它需要包含足够的语义信息来表征自然文本，又需要在语义关系间具有良好的区分度。常见的特征项有：词法、实体、句法、语义及上下文结构化信息等。

  • 特征权重计算。众多候选特征项，对最终关系分类的贡献度不可能完全一样，比如实体间语义关系往往比实体词汇、句子长度等特征更加重要。因此，需要进行特征重要性权重计算。这里提供两种权重方法计算思路：一、公式计算权值并排序，如布尔权重、特征频度[5]。二、基于优化算法进行最优权向量搜索[6]

  • 分类器选取。特征向量构造完毕后，下一步便是选取合适的分类器。下面介绍两种具有代表性的分类器：

    • 最大熵模型(Maximum Entropy Model)

      Kambhatla 2004[2]基于文本中实体词，实体类型，实体引用类型、语法以及句法树在内的多种特征，采用最大熵分类器，对不同特征叠加后进行了实验对比，并在ACE RDC2003语料的子类关系中获得了52.8的F1值，表明多层面语言学特征能有效提升关系分类模型的效果。

    • 支持向量机(SVM)

      Zhou et al.,2005[3]在Kambhatla前期基础上，融入基本的词组块信息特征组合，基于SVM获得了55.5的F1性能，并得出实体类别特征对于关系抽取结果提升最大的结论。Zhao et al.，2005[4]引用了文字特征，语句解析和深层语法依存特征等组合。Jiang et al.,2007[5]选取文本词序列、句法、依存关系等特征组合，以不同类别特征对抽取结果贡献度进行了评估，他们总结出在这些类别特征中选取最基本的单位特征便可以有效的提升关系抽取的性能，而过于复杂的特征带来的性能提升效果则一般。

小结：

基于特征向量的方法是关系抽取中最常见的方法，特征工程是该方法核心。研究者启发式地以多层次语言特征为切入点，并构造特征向量，结合分类器训练，可以取得不错的效果。但该方法现如今难以寻找有效新特征，性能提升较为有限。

2.2.1.2. 基于核函数的方法

针对特征提取具有的局限性，便有研究者另辟蹊径，使用核函数的方法进行关系抽取。基于核函数的方法无需人为构造显性特征，而是以输入文本实例的字符串或者是句法分析树结构作为输入，通过计算任意两个输入对象间的核相似度函数来训练分类模型。基于核函数的方法通过核函数映射综合了更多方面的知识信息，使实体间关系表示更加灵活。核函数类型众多，有包含诸如多项式核函数，向量空间核函数，P-光谱核函数，全序列核函数等。基于核函数的方法灵活性较高，对于多个不同个体核函数可以进行复合，从而得到针对具体任务的核函数。

方法原理：在初始特征空间下，核函数将该空间里的数据点映射到一个新的特征空间下，在该空间中训练线性分类器。其本质是将句子潜在的隐式特征向量投影到新的特征空间，并通过计算投影的内积来表示输入空间特征向量的相似性，最终达到判定实体间关系类别相似性的效果。

基于核函数的方法抽取关系一般步骤：

  1. 针对句子中隐含的特征信息，选用合适的解析结构，如语法树等进行语句剖析；
  2. 在此基础上选择合适的基础核函数，计算解析结构中成分之间的相似性；
  3. 在基础核函数之上，将多个核函数复合，以充分利用各种隐式特征，提高分类精度。

  • 浅层树核(Zelenko，2003)[6]

  • 依存树核(Culotta et al., 2004)[7]

  • 最短依存树核(Bunescu et al., 2005)[8]

  • 卷积树核(Zhang et al., 2006[9]；Zhou et al., 2007[10])

  • 其他的还有诸如

    • constituent parse trees [Collins & Duffy, 2001]
    • string sequencies [Cancedda & al., 2003]

    • directed acyclic graphs [Suzuki & al., 2003]

    • dependency parse trees [Moschitti, 2006]

    • feature-enriched/semantic tree kernel [Plank & Moschitti,2013; Sun & Han, 2014]

小结:

基于核函数的方法可以规避构造基于向量方法中显式特征集合，且更能够充分利用句子的长距离特征。然而核方法将多个不同核函数符合后，虽然可以表达高纬度或无穷维度特征空间，但也导致该方法学习和训练速度 过程较为缓慢，对于大规模数据抽取场景耗费时空代价巨大。

二者比较

方法特征项特征表示方法核心步骤
基于特征向量的方法词、词性、上下文结构信息、依存分析、句法树等显式特征工程
基于核函数的方法依存树核、卷积树核等隐式高维设计核函数计算
2.2.2. 深度学习
2.2.2.1. Pipeline(管道式)

Pipeline方法先在句子中抽取实体、而后再抽取关系。即实体识别，关系分类被视为两个独立的部分，互不干涉，但关系的识别依赖于实体识别的效果。

2.2.2.2. Joint(联合抽取式)

现有联合抽取模型总体上有两大类：

1、共享参数联合抽取模型

通过共享参数(共享输入特征或者内部隐层状态)实现联合，此种方法对子模型没有限制，但是由于使用独立的解码算法，导致实体模型和关系模型之间交互不强。

Miwa[11]等人针对上游任务实体识别抽取出的实体对，对当前句子所对应的依存句法树上提取出能覆盖实体对的最小依存树，并基于TreeLSTM生成该子树相对应的表示向量。最终，基于子树根节点对应的TreeLSTM向量完成SoftMax关系分类。

Katiyar[12] 等人采取指针网络解码，指针网络实际上有R层(R为关系总数)。对当前实体查询在其位置前的所有实体(向前查询)，并计算注意力得分。

2、联合解码抽取模型

为了增强实体模型和关系模型之间的交互性，由此提出了复杂的联合解码方案，但需要对子模型特征的丰富性以及联合解码的精确性之间做权衡：一方面如果设计精确的联合解码算法，往往需要对模型特征进行限制，例如用条件随机场建模，使用维特比解码算法可以得到全局最优解，但是往往需要限制特征的阶数。

另一方面如果使用近似解码算法，比如集束搜索，在特征方面可以抽取任意阶的特征，但是解码得到的结果是不精确的。因此，需要让算法可以在不影响子模型特征丰富性的条件下加强子模型之间的交互。

Zheng[13]等人对实体和关系标注框架进行了统一，直接以关系标签进行实体的BIOES标注，但该方案未考虑关系重叠问题，比如一个实体存在多种关系的情况。 Dai[14]等人针对一句话含有多种关系的场景，在含有n个token的句子中，准备n个不同标注框架。对于每个位置的token都进行一次可能的实体或关系类型标注，由此一个句子进行了n次重复编码，复杂度高。

2.2.2.3. 远监督学习

Distant Supervision提出主要基于假设：两个实体如果在知识库中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系。常用的做法是通过将知识库与各非结构化文本对齐来自动构建大量训练数据，减少模型对人工标注数据的依赖，增强模型跨领域适应能力。但该假设过于肯定，导致引入大量噪声数据，且构造过程依赖于NER等工具，中间过程可能造成错误传播问题。

针对这些问题，目前主要有四类方法：

(1)将先验知识作为限制引入构造数据集的过程中。

(2)利用概率图模型对数据样例打分，将置信度较低的句子过滤。

(3)利用多示例学习进行包级别关系标注并融入句子级别的注意力机制对包内样例赋予权值。

(4)基于强化学习。

(5)基于预训练机制。

Zeng[15]等人针对数据标注错误和传统统计模型特征抽取出现的错误提出解决方案。在数据标注错误问题上，作者采用多示例学习的方式从训练集中提取置信度高的训练样例训练模型。在模型改进方面，作者提出 piece-wise 的卷积神经网络(PCNN)。先通过 word2vec 的 Skip-gram 模型将词表示成向量形式，与位置特征向量(句子中词语与两个实体的相对位置)进行拼接作为输入，而后通过卷积层得到 feature map。在池化层中基于两个实体位置将 feature map 分为三段进行池化，其目的是为了更好的捕获两个实体间的结构化信息。最后，通过 softmax 层进行分类。

Lin[16]等人在Zeng[15]的基础上，认为多示例学习虽然缓解了噪声数据过多的问题，但每次只采用包中置信度最高的样例作为该关系正例有可能损失其他句子重要信息。在模型上，作者提出基于 attention 机制的卷积神经网络模型，由原先选取置信度最高的样例改为对包中所有样例赋予句子级别权重，最终各个样例向量进行加权求和通过分类器得到关系分类结果。

Zhang[17] 基于Lin[8]的工作，对句子级别的注意力机制设计进行了改进，利用卷积神经网络捕获实体描述特征，用于提供更多的背景知识，最后通过计算实体间关系与句子间的相似度赋予句子不同的权重。

Feng[18]基于强化学习的CNN+RL模型主要构成包括样例选择器和关系分类器。其中样例选择器负责从样例中获取高质量的句子，采取强化学习方式在考虑当前句子的选择状态下选择样例；接着经过关系分类器向样例选择器反馈来改进选择策略。该方法相较之前句子级别和Bag级别的关系分类模型取得更好效果。

Soares[19]首次在预训练过程中引入关系分类目标，使用「BLANK」标识符来替换实体mention。该方法将样本中含有相同实体对的句子对视为正样本，反之为负样本。相较于传统的远程监督，该方法在训练中未引入关系标签，而是采用二元分类器对句子对之间进行相似度计算。结果显示在FewRel数据集上，在未进行tuning就已经超过了有监督的关系抽取结果。

4. Paper List

4.1. 论文列表

4.1.1. 监督类方法
4.1.1.1. 利用语法信息的方法
论文题目抽取任务关键词论文链接会议及年份code
Attention Guided Graph Convolutional Networks for Relation Extraction关系提取注意力导向图卷积网络(AGGCN)；语义依赖树；软修剪；自动学习子结构；https://www.aclweb.org/anthology/P19-1024.pdfACL2019
A Richer-but-Smarter Shortest Dependency Path with Attentive Augmentation for Relation Extraction关系提取最短依赖路径SDP；注意力模型；深度神经模型；LSTM网络；CNNhttps://www.aclweb.org/anthology/N19-1298NAACL 2019https://github.com/catcd/RbSP
4.1.1.2. 不利用语法信息的方法
论文题目抽取任务关键词论文链接会议及年份code
Joint Type Inference on Entities and Relations via Graph Convolutional Networks抽取三元组的joint任务实体关系联合推断；图卷积模型(GCN)；二元关系分类https://pdfs.semanticscholar.org/7ce8/ce2768907421fb1a6cbfe13a8a36992721a7.pdfACL2019
GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction抽取三元组的joint任务端到端关系抽取；图卷积网络；https://tsujuifu.github.io/pubs/acl19_graph-rel.pdfACL2019
Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data关系抽取BIO字符/词嵌入；多任务体系结构；关系分类https://arxiv.org/pdf/1906.08931.pdfACL2019
Entity-Relation Extraction as Multi-turn Question Answering关系抽取多回合QA；上下文识别答案范围任务https://arxiv.org/pdf/1905.05529.pdfACL2019
Graph Neural Networks with Generated Parameters for Relation关系抽取图神经网络(GNN)；多跳关系推理https://arxiv.org/pdf/1902.00756.pdfACL2019
Kernelized Hashcode Representations for Biomedical Relation Extraction关系分类核化的局部敏感哈希(KLSH)；降低计算成本https://arxiv.org/pdf/1711.04044.pdfACL2019
Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs关系抽取图神经网络模型；文档级关系提取https://arxiv.org/pdf/1909.00228v1.pdfEMNLP2019
4.1.2. 远监督方法
论文题目抽取任务关键词论文链接会议及年份code
Hybrid Attention-based Prototypical Networks for Noisy Few-Shot Relation Classification关系分类远监督；噪声；混合注意力圆形网络https://gaotianyu1350.github.io/assets/aaai2019_hatt_paper.pdfAAAI2019https://github.com/thunlp/HATT-Proto
A Hierarchical Framework for Relation Extraction with Reinforcement Learning关系提取增强关系类型系和实体交互；分层强化学习(HRL)框架；远监督数据集https://arxiv.org/pdf/1811.03925.pdfAAAI2019
Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction关系提取远监督抗噪；Cross-relation Cross-bag Selective Attention；多实例学习；句子级别；注意力机制；关注高质量实体对https://arxiv.org/pdf/1812.10604.pdfAAAI2019
Structured Minimally Supervised Learning for Neural Relation Extraction关系提取最小监督；学习的表示形式；结构化学习https://arxiv.org/pdf/1904.00118.pdfNAACL2019
Combining Distant and Direct Supervision for Neural Relation Extraction关系提取降噪；监督学习+远监督模型https://arxiv.org/pdf/1810.12956.pdfNAACL2019https://github.com/allenai/comb_dist_direct_relex/
Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions关系提取句子级别的Attention；https://www.aclweb.org/anthology/N19-1288.pdfNAACL2019
GAN Driven Semi-distant Supervision for Relation Extraction关系提取半远监督；生成对抗网络(GAN)https://www.aclweb.org/anthology/N19-1307NAACL 2019
Improving Distantly-Supervised Relation Extraction with Joint Label Embedding关系提取多层注意力模型；联合标签嵌入https://www.aclweb.org/anthology/D19-1395.pdfNAACL 2019
Self-Attention Enhanced CNNs and Collaborative Curriculum Learning for Distantly Supervised Relation Extraction关系提取协作式学习；卷积神经网(CNN)；卷积运算内部自注意机制https://www.aclweb.org/anthology/D19-1037.pdfNAACL 2019

5. 相关文献

收录文章

  • [1] Automatic Acquisition of Hyponyms From Large Text Corpora.
  • [2] Combining Lexical, Syntactic, and Semantic Features with Maximum Entropy Models for Information Extraction.
  • [3] Extracting Relations with Integrated Information Using Kernel Methods
  • [4] Exploring Various Knowledge in Relation Extraction
  • [5] A Systematic Exploration of the Feature Space for Relation Extraction
  • [6] Kernel Methods for Relation Extraction
  • [7] Dependency Tree Kernels for Relation Extraction
  • [8] A Shortest Path Dependency Kernel for Relation Extraction
  • [9] A Composite Kernel to Extract Relations between Entities with Both Flat and Structured Features
  • [10] Tree Kernel-Based Relation Extraction with Context-Sensitive Structured Parse Tree Information
  • [11] End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures. ACL 2016:1105–1116
  • [12] Katiyar, et al. Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees. ACL 2017: 917-928
  • [13] Zheng, et al. Joint extraction of entities and relations based on a novel tagging scheme. ACL 2017: 1227-1236
  • [14] Dai,et al. Joint Extraction of Entities and Overlapping Relations Using Position-Attentive Sequence Labeling. AAAI 2019: 6300-6308
  • [15] Zen, et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks. EMNLP 2015: 1753-1762
  • [16] Lin ,et al. Neural Relation Extraction with Selective Attention over Instances. ACL 2016:2124–2133
  • [17] Distant Supervision for Relation Extraction with Sentence-level Attention and Entity Descriptions
  • [18] Feng ,et al. Reinforcement Learning for Relation Classification from Noisy Data. AAAI 2018: 5779-5786
  • [19] Soared ,et al. Matching the Blanks: Distributional Similarity for Relation Learning. ACL 2019: 2895-2905
ox180x
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
tacred-relation：用于关系提取的位置感知注意力模型的PyTorch实现
02-03
关系提取中的位置感知注意力RNN模型 此存储库包含PyTorch代码，用于纸上的。 TACRED数据集：有关TAC关系提取数据集的详细信息可以在上找到。 要求 Python 3（在3.6.2上测试） PyTorch（在1.0.0上测试） 解压缩，wget（仅用于下载） 制备 首先，从斯坦福大学网站下载和解压缩GloVe载体，方法如下： chmod +x download.sh; ./download.sh 然后使用以下方法准备词汇和初始单词向量： python prepare_vocab.py dataset/tacred dataset/vocab --glove_dir data
ltp︱基于ltp的无监督信息抽取模块
古月哲亭
08-31 2330
ltp︱基于ltp的无监督信息抽取模块：https://zhuanlan.zhihu.com/p/44890664 无监督信息抽取较多都是使用哈工大的ltp作为底层框架。那么基于ltp其实有了非常多的小伙伴进行了尝试，笔者私自将其归纳为：事件抽取（三元组）观点抽取“语言云” 以哈工大社会计算与信息检索研究中心研发的 “语言技术平台（LTP）” 为基础，为用户提供高效精准的中文自然语言处理云服务。 pyltp 是 LTP 的 Python 封装，提供了分词，词性标注，命名实体识别，依存句法分析，语义角色标
DataSet Relation问题
lioncw的专栏
04-28 336
 1、DataRelation relation = new DataRelation("mo", ds.Tables["Order"].Columns["Order_Id"], ds.Tables["Order_Detail"].Columns["Order_Id"]);   2、ds.Relations.Add(relation); 用断点测试到第一句时就catch出错了，说是未实例化。不知道
探索FewRel：一种高效处理少数类关系抽取的框架
gitblog_00083的博客
04-13 471
探索FewRel：一种高效处理少数类关系抽取的框架 FewRelA Large-Scale Few-Shot Relation Extraction Dataset项目地址:https://gitcode.com/gh_mirrors/fe/FewRel 项目简介 FewRel是一个由ThunLP团队开发的深度学习模型，专门针对少数类关系抽取任务。关系抽取是自然语言处理中的重要组成部分，旨在从文...
FewRel数据集
VIEO
06-05 7011
元学习论文总结||小样本学习论文总结 2017-2019年计算机视觉顶会文章收录 AAAI2017-2019 CVPR2017-2019 ECCV2018 ICCV2017-2019 ICLR2017-2019 NIPS2017-2019 《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset wit...
关系抽取技术研究综述
06-12
信息抽取（Information Extraction，IE）技术在此背景下应运而生，其中关系抽取（Relation Extraction，RE）作为信息抽取的关键技术之一，受到了学术界和工业界的广泛关注。 信息抽取主要包括三个关键技术：实体...
自然语言处理NLPPytorchBert-CasRel实体关系抽取源码和视频1G
最新发布
04-20
PyTorch还拥有丰富的社区支持和广泛的第三方集成，这使得其成为学术界和工业界广泛使用的深度学习框架之一。 #### Bert模型概述 BERT（Bidirectional Encoder Representations from Transformers）是由Google提出...
基于数据驱动的多实例学习弱监督关系抽取
03-18
根据提供的文件内容，本文将重点阐述以下几个方面的知识点： 1. 弱监督关系抽取的定义和优势： 弱监督关系抽取是一种关系...这不仅对学术界具有启发意义，对工业界在构建知识库和开发相关应用时也具有重要的参考价值。
关系抽取研究综述与展望（Review and Outlook for Relation Extraction）.pdf
04-08
关系抽取（Relation Extraction，简称RE）是自然语言处理（Natural Language Processing，简称NLP...作者希望本文的观点能够推动关系抽取领域的发展，激励学术界和工业界共同努力，为构建更加强大的智能系统做出贡献。
fewrel.tar.gz
05-01
因此，"fewrel.tar.gz"数据集不仅对于学术研究，也对工业界的数据驱动决策有着重要的推动作用。 总而言之，“fewrel.tar.gz”数据集以其丰富的关系类型和大规模实例，为关系抽取的研究提供了一个强大且全面的测试...
LDC1000中文使用说明
08-20
LDC1000 传感器使用原理，编程方法，以及开发例程。
实体关系提取：基于TensorFlow和BERT的实体和关系提取。基于TensorFlow和BERT的管道式实体及关系撤除，2019年语言与智能技术竞赛信息抽取任务解决方案。
02-06
实体关系提取 基于TensorFlow的实体和关系提取。基于TensorFlow的实体和关系撤消，2019语言与智能技术竞赛信息撤除（实体与关系撤回）任务解决方案。 如果您对信息抽取论文研究感兴趣，可以查看我的博客。 抽象 该代码以管道式的方式处理实体及关系抽取任务，首先使用一个多标签分类模型判断句子的关系种类，然后将句子和可能的关系类型输入序列标注模型中，序列标注模型标注出句子中的实体，最终结合预测的关系和实体输出实体-关系列表：（实体1，关系，实体2）。 该代码以管道方式处理实体和关系提取任务。 首先，使用多标签分类模型来判断句子的关系类型。 然后，将句子和可能的关系类型输入到序列标签模
Python-基于TensorFlow和BERT的管道式实体及关系抽取
08-10
Entity and Relation Extraction Based on TensorFlow and BERT. 基于TensorFlow和BERT的管道式实体及关系抽取，2019语言与智能技术竞赛信息抽取任务解决方案。Schema based Knowledge Extraction, SKE 2019
DiagnoseAdv
04-01
分析 论文代码“正常与对抗：基于显着性的对抗样本的关系抽取分析” 要求 的Python = 3.6 安装opennre == 0.1 运行pip install -r requirements.txt以安装其他依赖项 跑步 在dataset文件夹下准备TACRED和Wiki80数据集的原始样本： 有关示例格式，请参阅以下“ Data format部分。 dataset/ ├── tacred │ │ ├── bert/ # For analysis files generated (saliency and adversary data) │ │ └── bertentity/ # ... │ ├── dev.txt │ ├── rel2id.json │ ├── test.txt │ └── train.txt └── wiki80 │
【数据集分析】TACRED关系抽取数据集分析（二）—— 统计类别和实例数
xiangduixuexi的博客
07-09 2922
第一节，我们查看了每条数据的组成，并将每条数据都规范了自己喜欢的Json格式，方便后续操作对数据的取用。 本节统计一下数据集的关系数和实例数。
万字综述：行业知识图谱构建最新进展
Paper weekly
12-06 3075
作者｜李晶阳[1]，牛广林[2]，唐呈光[1]，余海洋[1]，李杨[1]，付彬[1]，孙健[1]单位｜阿里巴巴-达摩院-小蜜Conversational AI团队[1]，北京航空航天大学...
小样本学习（Few-shot Learning）综述
Paper weekly
04-01 2万+
作者丨耿瑞莹、李永彬、黎槟华单位丨阿里巴巴智能服务事业部小蜜北京团队分类非常常见，但如果每个类只有几个标注样本，怎么办呢？笔者所在的阿里巴巴小蜜北京团队就面临这个挑战。我...
Filling
花非花，雾非雾
08-25 657
Plot[{x + 4/3, x + 2/3, x, x - 2/3, x - 4/3}, {x, 0, 2}, PlotRange -> {{0, 2}, {0, 2}}, Axes -> False, Filling -> {4 -> {{5}, Yellow}, 3 -> {Bottom, Blue}, 3 -> {{2}, Red},2 -> {{1}, Magenta}, 1 -> {Top, Green}}]
NLP之关系抽取（信息抽取、三元组抽取）（附pytorch代码）
热门推荐
BatFor的博客
07-03 3万+
1、什么是关系抽取 关系抽取的主要任务就是，给定一段句子文本，抽取句子中的两个实体以及实体之间的关系，以次来构成一个三元组（s，p，o），s是subject表示主实体，o为object表示客实体，p为predicate表示两实体间的关系。总的来说，(s, p, o)可以理解的“s的p是o”。 当然一个句子中可能不止两个实体，从而也不止一种关系，所以你要做的就是尽可能多的、且正确的抽取句子中的关系实体对。以中文句子为例，如下图： 上图中的抽取结果就是我们后面提供的代码的抽取结果。可能你会问实体是什么，实体一
中文医疗知识图谱半自动化构建及关系抽取研究
最后，论文的创新性声明和版权使用授权声明强调了作者对研究工作的独立性和所有权，以及同意学校对论文内容的使用和传播，这符合学术界的规范和惯例。 这篇硕士论文深入研究了中文医疗知识图谱的半自动化构建，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值