图神经网络论文阅读(二十) Towards Deeper Graph Neural Networks

本文的三位作者来自Texas A&M University。
本文为深度GNN的发展做出了以下贡献:
本文认为当前图卷积运算中表示变换与传播的过度耦合是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。
在此基础上提出了深度自适应图神经网络(DAGNN)来自适应地吸收来自大接受域的信息。

Graph Convolution Operations

首先还是从本文的视角简单的介绍一下图神经网络中的算子,被分成了PROPAGATION和TRANSFORMATION两部分:
在这里插入图片描述
传播的过程是聚合邻域信息的过程,转化的过程是更新中心节点信息的过程。注意在GCN里,节点的信息被表示为:
在这里插入图片描述
在每一次的传播-转化的过程中,转化和传播都是一同(在同一个CNN-step中)进行的。这也就是本文所说的entanglement,它影响了图神经网络的表达。这和我们之前看到的论文都有着相同的直觉,比如APPNP,CNNII,GIN,都是将聚合与更新拆分开来,尽管原理可能和本文说的不一样,但是通过将两步操作解耦,确实提高了图神经网络的性能。

E

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
最近,对于神经网络的研究日益深入,引起了广泛关注。神经网络是一种能够对数据进行建模和分析的神经网络模型。它可以处理任意结构的形数据,如社交网络、蛋白质互作网络等。 在过去的几年中,研究者们提出了许多神经网络的模型和方法。然而,这些方法仍然面临一些挑战,例如有效地处理大型形数据、学习高质量的嵌入表示以及推理和预测复杂的结构属性等。 为了克服这些挑战,研究人员开始通过增加神经网络的深度来探索更深的神经网络模型。深度模型具有更强大的表达能力和学习能力,可以更好地捕捉数据中的关系和模式。这些深层神经网络可以通过堆叠多个神经网络层来实现。每个神经网络层都会增加一定的复杂性和抽象级别,从而逐渐提高数据的表达能力。 除了增加深度外,研究人员还提出了一些其他的改进来进一步提高神经网络的性能。例如,引入注意力机制可以使模型能够自动地选择重要的节点和边来进行信息传播。此外,研究人员还研究了如何通过引入卷积操作来增强数据的局部性,从而提高神经网络模型的效果。 综上所述,对于更深层的神经网络的研究将在处理大规模形数据、学习高质量的表示以及进行复杂结构属性的推理方面取得更好的性能。随着深度神经网络的推广和应用,我们可以预见它将在许多领域,如社交网络分析、推荐系统和生物信息学中发挥重要作用,为我们带来更多的机遇和挑战。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值