GNN2021(二十) DIRECTED ACYCLIC GRAPH NEURAL NETWORKS，ICLR2021

最新推荐文章于 2024-02-23 07:50:15 发布
最新推荐文章于 2024-02-23 07:50:15 发布
阅读量934 收藏
点赞数
分类专栏： 图神经网络2021 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/122380402
版权
本文介绍了DAGNN，一种针对无环有向图的神经网络模型，它利用偏序关系进行信息处理，提高了节点表示的效率。DAGNN在更新节点时仅考虑直接前驱，避免了局部邻域限制，适用于如源代码、神经架构等DAG数据集。实验表明DAGNN在图表示和任务预测方面优于传统GNN和DAG架构。
摘要由CSDN通过智能技术生成

之前在做下游应用的时候对比了使用本文提出的无环有向图模型的论文《Directed Acyclic Graph Network for Conversational Emotion Recognition》，因此反过来再读一下模型原文。还是老规矩，ICLR论文具有太多算法证明，所以只看一些关键的推导。
在这里插入图片描述

ABSTRACT

在本文中，我们关注一种特殊的，但广泛使用的图的类型DAG（DIRECTED ACYCLIC GRAPH无环有向图），并将一种更强的感应偏序注入神经网络设计（其实就是使用偏序去定义节点之间的先后顺序）。我们提出了一种有向无环图神经网络DAGNN，它是一种根据部分顺序定义的流程来处理信息的体系结构。DAGNN可以被认为是一个框架，它需要在特殊情况下进行早期工作(例如，树的模型和模型经常更新节点表示)，但我们确定了几个以前的架构所缺乏的关键组件。我们对具有代表性的DAG数据集(即源代码、神经架构和概率图形模型)进行了全面的实验，包括消融研究，并证明了DAGNN相对于简单的DAG架构和一般图形架构的优越性。

INTRODUCTION

首先，为了方便介绍本文提出的工作，将图神经网络的更新过程定义为消息传递（MPNN）的机制：
在这里插入图片描述
一般的GNNÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Unit 2-Lecture6: Directed Acyclic Graphs & Scheduling
TecLand
01-26 402
1 DAG Definition: A directed acyclic graph (DAG) is a directed graph with no cycles.2 Scheduling2.1 Topological Sort A topological sort of a finite DAG is a list of all the vertices such that each verte
有向无环图Directed Acyclic Graph（DAG）
忄凝^的博客
08-01 7683
1、DAG 有向无环图Directed Acyclic Graph（DAG） DAG是一个没有 有向循环的、有限的有向图 。 它由有限个顶点和有向边组成，每条有向边都从一个顶点指向另一个顶点； 从任意一个顶点出发都不能通过这些有向边回到原来的顶点。 有向无环图就是从一个图中的任何一点出发，不管走过多少个分叉路口，都没有回到原来这个 点的可能性。 条件 每个顶点出现且只出现一次 若存在一条从顶点 A 到顶点 B 的路径，那么在序列中顶点 A 出现在顶点 B 的前面。 计算一个DAG的拓扑关系
Directed Acyclic Graph DAG(有向无环图)上的DP
weixin_30512785的博客
03-10 192
$E=mc^{2}$ 很多问题都可以转化为DAG上的最长（短）路路径，最多（少）路径数（路径的权值为1） 对于状态d[i]的设置可以有两种： 1.d[i]表示从i出发的最长路 一般这种时候会考虑打印路劲，在出发之后会同时用一个数组来记录路径，而且这种方式一般通过回溯找到最大值。这种方法多数情况下不被推荐使用（偶尔用来取巧）（没有固定起点终点的情况下找到从任意点出发的总长并且可以记录从...
10/16/2018 Topological Sort (Directed Acyclic Graph)
DreamyHacker的博客
10-17 463
Topological Sort: Topological sort of a Directed Acyclic Graph (DAG) is a linear ordering of the vertices in the DAG so that vertex u comes before vertex v if the edge (u -> v) exists in the DAG. E...
有向无环图（Directed Acyclic Graph，简称DAG）是一种特殊的有向图，它不包含任何环路
最新发布
BLOG域名:programb.blog.csdn.net
02-23 1202
例如，在一个任务调度系统中，每个任务可以表示为DAG中的一个顶点，而任务之间的依赖关系可以表示为边。在拓扑排序中，图中的节点表示任务或事件，有向边表示任务间的依赖关系。例如，在动态规划算法中，问题的求解可以表示为一个DAG，其中每个顶点表示一个子问题，边表示子问题之间的依赖关系。使用深度优先搜索遍历图的过程中，如果遇到一个已经访问过的节点，且该节点不是当前节点的父节点，则说明存在环。使用广度优先搜索遍历图的过程中，如果遇到一个已经访问过的节点，且该节点不是当前节点的父节点，则说明存在环。
Introduction to Graph Neural Networks.pdf
04-19
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，它专注于处理图数据。图数据结构广泛存在于各种现实世界问题中，如社交网络、化学分子结构、交通网络等。CMU的Minji Yoon博士在她的112页...
刘知远-Introduction to Graph Neural Networks.pdf
04-01
Euclidean graph data that contains rich relational information between elements and cannot be well handled by traditional deep learning models (e.g., convolutional neural networks (CNNs) or recurrent ...
E(n) Equivariant Graph Neural Networks
04-13
E(n)等变图神经网络（E(n) Equivariant Graph Neural Networks，简称EGNNs）是一种新型图神经网络模型，主要学习对旋转、平移、反射和置换操作具有等变性质的图表示。这种等变性质意味着当输入图的结构经过某些对称...
2019-MINCUT POOLING IN GRAPH NEURAL NETWORKS-网文-rrrr1
08-08
本文《2019-MIN CUT POOLING IN GRAPH NEURAL NETWORKS》提出了一种创新的方法，即基于最小割（minCUT）优化目标的可微无监督损失的GNNs池化操作。最小割是一种图论概念，它旨在寻找将图分成两个部分的边集合，使得...
2019-KDD-DEMO-Net Degree-specific Graph Neural Networks for Node
08-04
受深度学习在网格结构数据中成功的影响，图神经网络（GNN）被提出用于学习强大的节点级或图级表示。然而，现有的大多数图神经网络存在以下限制： 1. 对于图卷积的特性分析不足，如种子导向性、度感知性和无序性； 2...
当GNN遇见NLP(十一)：Directed Acyclic Graph Network for Conversational Emotion Recognition，ACL2021
qq_36618444的博客
10-09 1338
同上一篇一样，是使用图建模对话情绪识别的论文。本文提出了用有向无环图(DAG)对对话进行编码的方法（DAG-ERC），主要借鉴了ICLR2021发表的工作DAGNN（Directed acyclic graph neural networks.）中的GNN改进策略。DAG-ERC在DAGNN的基础上进行了两个改进:(1)基于说话人身份的关系感知特征转换，以收集信息;(2)上下文信息单元，以增强历史上下文信息。下面就看具体的内容。 Method Building a DAG from a Conversat.
Spark中的有向无环图(DAG:Directed Acyclic Graph)
weixin_37536020的博客
06-17 3595
Spark的计算过程，很多时候都有先后顺序，受制于某些任务必须比另一些任务较早执行的限制，必须对任务进行排队，形成一个队列的任务集合，这个队列的任务集合就是DAG图。DAG连续多个窄依赖，会放到到同一台机器的内存中完成。Spark中DAG生成过程的重点是对Stage的划分，Stage的划分依赖RDD宽窄依赖，当Driver程序提交后，Spark调度器将。：对应宽依赖中的一个分区，或者窄依赖中的一个平行流水线。，然后对此Stage进行从后往前的回溯，遇到Shuffle就断开，形成一个新的State，遇到。
论文阅读及代码学习-Directed Acyclic Graph Network for Conversational Emotion Recognition
m0_59892618的博客
11-08 953
一、介绍 文章试图将传统的基于图形的神经网络模型与基于递归的神经模型进行结合，提出了一种通过有向无环图将对话进行编码的新思路，这种新型的编码方式能够更好地结合long-term对话信息以及相邻上下文的信息，并在四个baseline上取得了很好的效果。 基于图的神经网络模型只会从一个固定长度的window内获取对话信息，这种模型的缺点就是会损失掉一些稍远距离的对话和序列信息；基于递归的神经模型通过用编码的方式来获取一定时间步内的对话和序列信息，然而，这种模型往往只使用最近的...
字符串后缀自动机:Directed Acyclic Word Graph
deyangliu的专栏
06-24 1695
trie -- suffix tree -- suffix automa 有这么一些应用场景： 即时响应用户输入的AJAX搜索框时, 显示候选列表。 搜索引擎的关键字个数统计。 后缀树(Suffix Tree): 从根到叶子表示一个后缀。 仅仅从这一个简单的描述，我们可以概念上解决下面的几个问题： P:查找字符串o是否在字符串S中 A:若o在S中，则o必然是S的某个后缀
拓扑排序-有向无环图（DAG, Directed Acyclic Graph）
dengpan1889的博客
02-18 2795
条件： 1.每个顶点出现且只出现一次。 2.若存在一条从顶点 A 到顶点 B 的路径，那么在序列中顶点 A 出现在顶点 B 的前面。 有向无环图（DAG）才有拓扑排序，非DAG图没有拓扑排序一说。 一般用有向边指示顺序关系，运用于顺序关系。 例如，下面这个图： 显然是一个DAG图，1→4表示4的入度+1，4是1的邻接点, 代码表示：前者deg[4]++;后者用vecto...
CodeForces 915D :Almost Acyclic Graph 拓扑排序
tlyzxc的博客
05-04 114
传送门 题目描述 给定一个 nnn个顶点， mmm条边的有向图。你允许从其中去掉最多一条边。 你能够去掉最多一条边就让这个图无环吗？我们称一个有向图无环，当且仅当它不包含一个环(起点和终点相同的路径)。 分析 比较裸的思路就是每次删去一条边，然后拓扑排序，但是这样复杂度就O(n∗m∗m)O(n * m * m)O(n∗m∗m)，显然会爆掉 那有没有优化的方法呢？我们去分析一下拓扑排序的过程，为什么有环就会导致无法进行拓扑排序，因为入度没有办法减为0，没办法进入队列从而计数，所以我们可以尝试去枚举点，去减少他
Almost Acyclic Graph（拓扑排序，思维）
心升明月的博客
10-03 161
Almost Acyclic Graph题意数据范围思路代码 题意 给定一个有向图，问能否只删去一条边，使得图中不存在环。 数据范围 2≤n≤5002 \leq n \leq 5002≤n≤500 1≤m≤1000001 \leq m \leq 1000001≤m≤100000 思路 这道题的思路比较新颖，需要积累一下。如果我们遍历每一条边，然后再判断删去这条边，能不能使得图中不存在环，显然会超时。这个时候，我们就可以换一个角度来考虑。 如果遍历每个点，让其入度−1-1−1，这就相当于消除了指向它的那条边的
题解 CF915D 【Almost Acyclic Graph】
weixin_34199405的博客
10-24 171
这道题我第一次的想法是直接判环的数量，然而事实证明实在是太naive了。 随便画个图都可以卡掉我的解法。（不知道在想什么） 这道题的正解是拓扑排序。 朴素的想法是对所有边都跑一次拓扑，但这样$O(m(n+m))$会炸，于是可以有下面的优化。 我们找到所有入度不为零的点，然后把他们每一个都删掉一条边跑一遍拓扑排序。 那么这样就可以优化到$O(n(n+m))$了，稳得一批。 ...
论文阅读：Skeleton-Based Action Recognition with Directed Graph Neural Networks
qq_36627158的博客
06-08 557
Skeleton-Based Action Recognition with Directed Graph Neural Networks （2019 CVPR） Lei Shi1,2 Yifan Zhang, Jian Cheng, Hanqing Lu Notes Contributions (1) To the best of our knowledge, this is the first work to represent the skeleton data as a direc.
RED-GNN，即Relation Extraction and Distribution Learning with Graph Neural Networks
04-30
RED-GNN是一种基于图神经网络的关系抽取方法，能够自动地从文本数据中识别实体之间的语义关系。RED-GNN的核心思想是将文本数据表示成一个图，其中实体作为节点，实体之间的关系作为边，然后采用图神经网络对这个图进行处理，最终得到实体之间的关系。与传统的关系抽取方法相比，RED-GNN不需要手动设计特征，能够自适应地学习实体之间的语义关系，并且在多个数据集上都取得了优秀的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值