【论文阅读】Graph Enhanced Dual Attention Network for Document-Level Relation Extraction

最新推荐文章于 2022-09-19 07:50:06 发布
最新推荐文章于 2022-09-19 07:50:06 发布
阅读量640 收藏 3
点赞数
分类专栏： 论文阅读 文章标签： 自然语言处理 nlp 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_jiaoyang/article/details/112093405
版权

2020年11月Coling
Graph Enhanced Dual Attention Network for Document-Level Relation Extraction. Bo Li, et al. COLING 2020 [pdf]
没有代码

引入了从句子到关系S2R和从关系到句子R2S的双向注意力机制。

创新：

  • 双attention机制
  • 正则化处理
  • 引入证据支持向量作为注意力权重的监督信号
    模型架构

1.编码层

使用BILSTM对文档编码，将输入文档转化成1）词embedding 2）实体类型embedding 3）实体在docred首次出现的顺序embedding，得到H (n*2h)

  1. 使用max-pooling获得每个句子的语义表示

  2. 对于一个实体，在文档中可能有不同的实体提及。作者对于文档中位于第a到第b个词的实体提及j， 1 b − a + 1 ∑ l o c = a b H l o c \frac{1}{b-a+1}\sum^{b}_{loc = a}H_{loc} b−a+11​∑loc=ab​Hloc​

    e j e_{j} e

最低0.47元/天 解锁文章
今天NLP了吗
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
图神经网络论文阅读(五) Structure-Aware Convolutional Neural Networks，NIPS2018
qq_36618444的博客
02-05 1927
本文的作者来自中科院自动化所以及中科院大学人工智能学院。 为了拓展卷积操作到非欧图结构，本文提出了structure-aware convolution（结构感知卷积）将非欧式图与欧式图结构之间的差别抹平。从技术上讲，结构感知卷积中的滤波器被推广到单变量函数，该单变量函数能够聚合具有不同拓扑结构的局部输入。由于单变量函数需要确定无数个参数，所以使用函数逼近理论近似代替单变量函数，最终建立起模型St...
【GCN-CTR】端到端的GNN-CTR：Dual Graph enhanced Embedding Neural Network for CTR Prediction (KDD‘21)
chadlee
03-05 1650
DG-ENN: Dual Graph enhanced Embedding Neural Network for CTR Prediction (KDD’21) 性能简直无敌了，线下这个收益上线岂不是xx亿的收益？代价就是虽然是个端到端的模型，但是用到了全数据集的邻接矩阵，这可以在数据集上搞，可以在工业场景用吗？ 就论文本身而言，我个人认为这篇文章的缺点是：我反复读这篇文章，发现根本无法实现其 “分治、field-wise” 的做法。所以我按我的理解介绍。 Motivation：稀疏的特征和稀疏的交互 在
KDD2021|华为提出对偶图增强embedding神经网络DG-ENN用于CTR预估
hestendelin的专栏
09-19 813
Dual Graph enhanced Embedding Neural Network for CTR PredictionWei Guo, Rong Su, Renhao Tan, Huifeng Guo, Yingxue Zhang, Zhirong Liu, Ruiming Tang, Xiuqiang HeHuawei Noah’s Ark Labhttps://arxiv.org/pd...
用图数据库在元宇宙中构建对话式AI？盘点图+AI的四大潜力
爱分析ifenxi
10-11 527
在最近被热议的元宇宙中，图数据库有了最新的应用案例。 作为被科技界构想的下一代互联网形态，元宇宙是一个平行于现实世界，具备绝大部分人类社会要素的数字时空。为了给参与者提供更多交互和体验的可能性，元宇宙中除了会有大量人造的景和物，还会有大量无处不在的高仿真数字人类，他们有着接近真人的思考能力，和足够的知识储备。 而结合了图技术与领域知识的知识图谱，则是支撑数字人类理解人的意图，并做出恰当反馈的关键。前不久，来自那不勒斯大学的开发者对外展示了基于游戏引擎Unreal Engine的对话代理（Conversat.
论文小综 | 文档级关系抽取方法（上）
开放知识图谱
04-08 3382
本文作者：陈想，浙江大学在读博士，研究方向为自然语言处理张宁豫，浙江大学助理研究员，研究方向为自然语言处理、知识表示与推理1. 前言关系抽取(Relation Extraction, ...
An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based QA
08-09
In relation extraction for knowledge-based question answering, searching from one entity to another entity via a single relation is called “one hop”. In related work, an exhaustivesearchfromallone-...
relation-graph图谱移动端适配拖动修复代码
03-18
在IT行业中，关系图谱（Relation Graph）是一种用于表示实体之间复杂关系的可视化工具，尤其在数据挖掘、社交网络分析和知识图谱等领域广泛应用。在移动端，为了提供更好的用户体验，通常需要对图表进行适配，使其...
2019-DAGCN, Dual Attention Graph Convolutional Networks-笔记-rrrrr
08-08
《2019-DAGCN：双注意力图卷积网络详解》 图卷积网络（GCNs）在近年来已经成为处理各种应用中复杂关系分析的强大工具，涵盖了社会网络、自然语言处理、生物信息学以及化学信息学等领域。GCNs通过学习连续且紧凑的...
学习论文 “Edge-Labeling Graph Neural Network for Few-shot Learning”笔记
01-06
个人笔记对模型数学上的解读部分很大程度上受到这篇博客的启发与参考 Notation T=S∪QT=S \cup QT=S∪Q,support set and query set, support set SSS in each episode serves as the labeled training set ...
Graph-based reasoning model for multiple relation extraction.pdf
03-02
Graph-based reasoning model for multiple relation extraction.pdf
AI-Graph:训练一个人工智能模型来识别异常流量图或KPI图。 非常适合性能或IT工程师从电信OSS的数千种流量图（例如仙人掌或KPI图）中找出异常图
05-14
AI图 该项目将训练人工智能模型以识别异常流量图或KPI图。 性能或IT工程师可以使用它从数千种流量图中找出异常图，例如电信OSS中的仙人掌图或KPI图。 第一个版本是带有预训练模型pm_graph_variables5.ckpt的ai_cacti_test.py，它标识了三种类型的图：1）突然的流量下降图，指示中断； 2）表示容量限制的高原曲线； 3）正常图，不包括中断图和平稳图。 它使用以下五个常规神经网络层和一个完整连接层， 安装步骤 安装python3。 安装tensorflow 1.4。 Tensorflow版本高于1.4可能存在兼容问题。 须藤apt-get install python3-pip python3-dev python-virtualenv virtualenv --system-site-packages〜/ venvs / tensorflow 源〜/
读书笔记8：Graph Attention Networks（ICLR 2018)
热门推荐
b224618的博客
08-16 2万+
https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b8024522fbe08fb2a482.pdf https://arxiv.org/pdf/1710.10903.pdf 这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部...
【每日一读】EMNLP2020: 从全局信息到局部语义凝练的篇章级关系抽取
carrie_0307的博客
01-03 521
Paper: Global-to-Local Neural Networks for Document-Level Relation Extraction Link: https://www.aclweb.org/anthology/2020.emnlp-main.303.pdf Code: https://github.com/nju-websoft/GLRE 这是一篇进行 篇章级关系抽取(Doc-RE) 任务的论文。在Intro部分，作者首先提出了现有的通过在篇章级别构图进行Doc-RE工作的缺点:
读论文《Relation-Enhanced Multi-Graph Attention Network for Recommendation》
buganything的博客
08-15 419
​ 本文提出了关系增强多图注意力网络，通过对异构和高阶关系进行建模来达到推荐的目的。 ​ 本文首先将用户行为和项目知识编码为统一的关系图，然后创新地利用关系特定的注意力聚合器和关系增强的用户图来增强关系的有效性。关系特定的注意聚合器旨在聚合异构邻居的嵌入。 ......
100+篇论文合集:GNN在NLP中的应用
Kaiyuan_sjtu的博客
05-21 3880
作者|IndexFziQ整理|图与推荐推荐一波大佬整理的GNN4NLP论文大合集,总共100多篇,涵盖NLP的各种任务~地址：https://github.com/IndexFz...
论文笔记009-《A Vectorized Relational Graph Convolutional Network for Multi-Relational Network Alignment》
Slashyouth的博客
12-05 888
1. 简介 《A Vectorized Relational Graph Convolutional Network for Multi-Relational Network Alignment》 来源：IJCAI-2019 链接：论文链接 代码：[暂无] 关键字：Graph Convolutional Network、Embedding-based、Entity Alignment 2. Abstract   目前多关系网络（例如知识图谱）对齐工作对上层的AI应用有很重要的意义。现有的基于图卷积网络.
文档级关系抽取小结及论文阅读：Document-Level Relation Extraction with Reconstruction
Ming_LQ的博客
07-06 1342
Document-Level Relation Extraction with Reconstruction一、背景介绍二、相关工作1、Attention Guided Graph Convolutional Networks for Relation Extraction2、Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network3、Connecting the Dots: Docum
KDD2021| 工业界搜推广nlp论文整理
abcdefg90876的博客
07-13 1547
本文整理了KDD21的Accepted Papers[1]中，工业界在搜索、推荐、广告、nlp上的文章。整理的论文列表比较偏个人口味，选取的方式是根据论文作者列表上看是否是公司主导的，但判...
Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation简析
loserChen的博客
06-09 2931
Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation Introduction 在该论文中，将推荐系统和知识图谱建模视为两个分离但是相关的任务，设计了一个多任务学习的框架，利用知识图谱建模任务来辅助推荐系统任务。这两个任务之所以相关，是因为推荐系统中的一个物品会和一个或多个知识图谱中的实体相对应，因此，它们在...
long-tail relation extraction via knowledge graph embeddings and graph convo
最新发布
04-29
本篇论文研究了如何通过知识图谱嵌入和图卷积来实现长尾关系抽取。 长尾关系是指那些在语料库中出现次数很少的关系。这些关系往往被忽略，但它们对于知识图谱来说是非常重要的，在很多实际应用中也非常有用，比如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值