C.9 文档级关系抽取：基于结构先验产生注意力偏差SSAN模型

已于 2023-04-07 16:23:55 修改
阅读量924 收藏 1
点赞数
分类专栏： NLP/知识图谱：信息抽取专栏 NLP领域知识+项目+码源+方案设计 文章标签： 1024程序员节 人工智能 深度学习 自然语言处理 关系抽取
于 2022-10-24 09:49:46 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/127486116
版权
本文介绍了文档级关系抽取的挑战，如多句依赖、多指称实体和逻辑推理需求，并提出SSAN模型，利用结构先验产生注意力偏差以适应性调整注意力流。SSAN在标准自我注意机制和编码阶段中纳入实体结构依赖，通过两个替代转换模块实现。文章还探讨了信息抽取、命名实体识别和关系抽取的联合学习，以及解决重叠三元组问题的CASREL框架。
摘要由CSDN通过智能技术生成

在这里插入图片描述
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

在这里插入图片描述
专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baseline。

文档级关系抽取：基于结构先验产生注意力偏差SSAN模型

Entity Structure Within

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
专栏目录
订阅专栏
C.10[完整版]文档级关系抽取：基于结构先验产生注意力偏差SSAN模型
丨汀、的博客
04-07 1019
目前文档级关系抽取有三个公开的学术的数据集，分别是 CDR、GDA 以及清华大学团队发布的 DocRED。CDR是生物领域的一个人工标注的一个数据集，其任务是预测化学和疾病概念之间的二元相互作用，包含了 500 多篇训练文章；（20MB）GDA也是一个生物医学领域的大规模数据集，其任务主要是预测基因和疾病概念之间的二元相互作用，由 2 万～3 万篇训练文档组成；相对而言，（568MB）DocRED是一个比较新的大规模的众包数据集。
文档级关系抽取方法总结
CycloneKid的博客
07-20 7575
文章目录文档级关系抽取将关系抽取由句子级扩展到文档级的原因文档级关系抽取数据集DocRED图神经网络图网络结构的分类GCNGP-GNNGraphRelGCNNEoGLSRDyGIE/DyGIE++ 文档级关系抽取 将关系抽取由句子级扩展到文档级的原因 目前大多数关系抽取方法抽取单个实体对在某个句子内反映的关系，在实践中受到不可避免的限制：在真实场景中，大量的关系事实是以多个句子表达的。文档中的多个实体之间，往往存在复杂的相互关系。 以下图为例，就包括了文章中的两个关系事实（这是从文档标注的19个关系事实中采
DocuNet：文档级关系抽取的新视角与实现
最新发布
gitblog_00460的博客
08-20 288
DocuNet：文档级关系抽取的新视角与实现 DocuNet项目地址:https://gitcode.com/gh_mirrors/do/DocuNet 项目介绍 DocuNet 是一个创新性的模型，源自于论文《Document-level Relation Extraction as Semantic Segmentation》，该论文被IJCAI 2021主会议收录。此项目由zjunlp开...
文档级关系抽取：QIUXP：DORE: Document Ordered Relation Extraction based on Generative Framework
Hekena的博客
12-03 498
文档级关系抽取是从整篇文档中抽取出三元组。更难，但也很有价值。 总的来说，我觉得还是可以的。也说明了在生成模式下，id相比于词组，尤其是在生成文本长度交汇处那个的情况下，id更有优势。利用生成模型范式解决文档级关系抽取问题，但文档相比于句子面向句子过长，target sentence定位不准确，可能还存在实体不确定位置的情形。一般的生成范式是直接生成出对应的词组，但这似乎不能很好的适应于文档级关系抽取。文章中提出，现有的生成式文档级关系抽取方法表现不佳，并不是模型能力不足，而是模型训练的范式不足导致的。
文档级关系抽取介绍
matlabjenny的博客
04-09 3100
** 0、数据集介绍 ** 文档级关系抽取的数据集有DocRED、SCIREX、CDR、GDR。 GDA是生物医学领域的一个大规模数据集，它包含29192篇文档以供训练，其任务是预测基因和疾病概念之间的二元相互作用。 CDR是生物医学领域的人类标注的化学疾病关系抽取数据集，由500份文档组成，该数据集的任务是预测化学和疾病概念之间的二元相互作用关系。 SCIREX数据集是发表在ACL2020上的《SCIREX: A Challenge Dataset for Document-Level Informati
文档级关系抽取《A sequence-to-sequence approach for document-level relation extraction》论文解读
jjikyour的博客
10-31 556
关系抽取中，许多关系会跨越句子边界，受这一事实的影响，文档级关系提取(DocRE)越来越受到关注。DocRE需要在句子内部和句子之间进行整合，捕捉实体提及之间的复杂交互。在本文中，我们开发了一种序列对序列(sequence-to-sequence, seq2rel)方法，它可以端到端地学习DocRE(实体提取、关联解析和关系提取)的子任务，取代了任务特定组件的管道。
[文档级关系抽取｜ACL论文]文档级关系抽取中语言理解的基础模型
Dream的博客
12-09 1515
对于这篇文章，完全揭示了当前文档级关系抽取（甚至句子级关系抽取）的现状，知识把杂七杂八的东西放到了池子中去学习，让模型只能在学习到的数据集中有比较好的效果。基于transformer的预训练语言模型，都希望在给定上下文X的情况下，提高当前单词的概率Y，上下文应该由P(Y|X)表示，但学习的是P(Y|X, A)，其中A表示为对采样过程的访问，从而导致有偏差。目前，Y的语义很大程度依赖着有明确语义的词，即U->Y，他们的组合形成了自然的语言表达，其过程可以使用A->X表述，其中A决定了单词在上下文的分布。
SSAN-master_SSAN_注意力机制_
09-28
光谱注意力层着重于识别出不同波段之间的相关性，空间注意力层则关注像素之间的位置关系，两者结合可以更好地理解高光谱影像的结构信息。 SSAN的工作流程大致如下：首先，通过卷积神经网络（CNN）对高光谱影像进行...
"半监督框架下的文档级关系抽取方法与知识蒸馏技术
2Ruidan He<$1 Lidong Bing1Hwee Ng21阿里巴巴集团2新加坡国立大学计算机科学系{qingyu.tan，ruidan.he，l.bing}@alibaba-inc.com{qtan6,nght}@comp.nus.edu.sg摘要文档级关系抽取（DocRE）是一个更具有挑战性的任务...
文档级关系抽取-论文阅读：Entity Structure Within and Throughout
Ming_LQ的博客
07-16 844
Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation1 论文动机2 论文贡献3 方法3.1 实体结构3.2 SSAN3.3 变换模块总结 这次阅读的论文是做文档级关系抽取任务的，发表于AAAI2021，作者来自于中国科学技术大学。目前主流的文档级关系抽取方法是构造文档级别的图，然后利用图学习的方法如图卷积、图注意力等获得实体结构特征用于关系抽取。但是这篇论文虽然也用了
论文小综 | 文档级关系抽取方法（下）
开放知识图谱
04-10 2312
本文作者：陈想，浙江大学在读博士，研究方向为自然语言处理张宁豫，浙江大学助理研究员，研究方向为自然语言处理、知识表示与推理这篇推文是文档级关系抽取方法的第二部分，前面的部分请移步推文“论文...
Document-Level Relation Extraction：SSAN模型
ACM_hades的博客
05-16 1060
参考链接 论文链接：Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction 代码链接：https://github.com/BenfengXu/SSAN Introduction 首先通过一个例子来简单阐述 一下Document-Level Relation Extraction：红色的线：表示共指关系；蓝色的线：表示句内关系，通过句内局部
模型复现丨三分钟复现关系抽取/情感分析模型SSAN
m0_60673947的博客
12-22 503
一、模型介绍 模型介绍：模型介绍：最近创建的一种新的神经网络，自我关注网络（SAN），其利用注意力机制作为基本构建块。自我关注网络已被证明对序列建模任务有效，同时没有复现。在这项工作中，我们探讨了SAN对情感分析的有效性，并且探讨了各种SAN修改的效果，如多头注意以及两种将序列位置信息合并到SAN中的方法。论文题目：《Self-Attention: A Better Building Block for Sentiment Analysis Neural Network Classifiers》 论文地址
文档级关系抽取
appllllllle的博客
07-14 340
与传统的基于单句的关系抽取数据集相比，不同之处在于，DocRED中超过40%的关系事实只能从多个句子中联合抽取，因此需要模型具备较强的获取和综合文章中信息的能力，尤其是抽取跨句关系的能力。图卷积神经网络是一个很好地在图结构上进行特征抽取的神经网络模型，在图网络上进行卷积，简单的说就是是用=邻接节点的特征，更新节点自己的向量表达，达到特征传递的目的。文档中的多个实体之间，往往存在复杂的相互关系。在使用图神经网络时，图的构造是关键的一个环节，根据是否需要区分图中边的类型，可以将图分为异质图和同质图。
探索文档级关系提取新境界：双图推理模型GAIN
gitblog_00074的博客
06-15 909
探索文档级关系提取新境界：双图推理模型GAIN GAIN项目地址:https://gitcode.com/gh_mirrors/gain1/GAIN 在自然语言处理的广阔天地中，文档级关系抽取（Document-level Relation Extraction）是一块充满挑战的领域，它要求模型能够跨越多个句子，理解实体间的复杂联系。今天，我们向您隆重介绍一个前沿的开源项目——基于双图推理的文档...
文档级关系抽取：基于结构先验产生注意力偏差SSAN模型
datayx的文章
03-08 312
向AI转型的程序员都关注了这个号????????????Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction实体作为关系抽取任务的基本要素，具有一定的结构。在这项工作中，将这种结构表述为提及对之间的独特依赖关系。提出了SSAN (Structured S...
SSAN 关系抽取 论文笔记
kyle1314608的博客
06-21 940
20210621 https://zhuanlan.zhihu.com/p/353183322 [KG笔记]八、文档级(Document Level)关系抽取任务 共指id嵌入一样 但是实体嵌入的时候 可能是不同的表述 所以取上述的方式 抽取全局信息 我们通常可以把句子内部（intra-sentence）的特征信息称之为局部特征，而把跨句子（inter-sentence）的、篇章级的特征信息称之为全局信息。 对于局部信息的抽取基本等同于句子级别关系抽取的encoding model，比如可以使用Wor
推荐文章：探索文档级关系抽取的新视角——DocuNet
gitblog_00073的博客
06-21 346
推荐文章：探索文档级关系抽取的新视角——DocuNet DocuNet项目地址:https://gitcode.com/gh_mirrors/do/DocuNet 在信息爆炸的今天，如何高效、准确地从海量文本中抽取出有价值的关系信息，是自然语言处理领域的一大挑战。今天，我们要向您隆重介绍一个创新的解决方案——DocuNet，这是一项集成于DeepKE的知识提取工具包中的明星模型，源于国际人工智...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值