GNN的理解与研究

一:初识GNN

1.什么是GNN

  • 图(Graph)
    在讨论GNN之前,我们先来了解一下什么是。在计算机科学中,图是由节点和边两部分组成的一种数据结构。图G可以通过节点集合V和它包含的边E来进行描述。如下图所示:
    在这里插入图片描述

  • GNN
    GNN全称----图神经网络,它是一种直接作用于图结构上的神经网络。我们可以把图中的每一个节点 V V V 当作个体对象,而每一条边 E E E 当作个体与个体间的某种联系,所有节点组成的关系网就是最后的图 U U U
    这里的 V , E , U V, E , U V,E,U都可以编码成一个特征向量,所以实际上GNN还是做的是提取特征的工作而已。GNN的一个典型应用是节点分类,我们希望利用GNN提取出每个节点 V V V 的特征向量,来预测每个节点的标签。同样的,也可以通过节点与节点间的特征,来预测出对应边 E E E 的标签。当然,也可以利用所以节点提取出的特征,来预测整个图 V V V 的标签。 如下图:
    在这里插入图片描述
    在这里插入图片描述

2.GNN与CNN、RNN的区别

那都是提取特征的神经网络,那为什么要利用图模型来提取呢?CNN的卷积和RNN的递归方式不行吗?
答案还真不行,或者说十分麻烦。

因为GNN面向的输入对象其实都是结构不规则、不固定的数据结构,而CNN面向的图像数据和RNN面向的文本数据的格式都是固定的,所以自然不能混为一谈。因此,面对本身结构、彼此关系都不固定的节点特征,必须需要借助图结构来表征它们的内在联系。

3.GNN的应用领域

GNN应用的领域自然都是由结构不规则、不固定的数据组成的场合了。比如下图所示的场景:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
其中的交通流量感知、医疗领域是当前GNN应用最为火热的领域,以上仅供参考。接下来,我们来一起探究GNN的工作原理是什么,到底是如何提取、更新每个节点的特征呢?

二:GNN原理

1.邻接矩阵

首先引入邻接矩阵(Adjacency Matrix)的概念,它来表示节点与节点间的连接关系,即Edge的关系,矩阵的具体样式如下图所示:
在这里插入图片描述
在这里插入图片描述

2.聚合操作

GNN的输入一般是每个节点的起始特征向量和表示节点间关系的邻接矩阵,有了这两个输入信息,接下来就是聚合操作了。所谓的聚合,其实就是将周边与节点 V i Vi Vi 有关联的节点{ V a , V b , . . . Va,Vb,... Va,Vb,...}加权到 V i Vi Vi上,当作一次特征更新。同理,对图中的每个节点进行聚合操作,更新所有图节点的特征。

聚合操作的方式多种多样,可根据任务的不同自由选择,如下图所示:
在这里插入图片描述
在这里插入图片描述
当然对这个图节点进行完了一次聚合操作后,还需要再进行一波 w w w 的加权,这里的 w w w 需要网络自己学习。

3.多层迭代

CNN,RNN都可以有多个层,那么GNN也当然可以。一次图节点聚合操作与 w w w 加权,可以理解为一层,后面再重复进行聚合、加权,就是多层迭代了。一般GNN只要3~5层即可,所以训练GNN对算力要求很低。如下图所示:
在这里插入图片描述


  至此我对GNN的基本概念和工作原理,进行了简单讲解,希望对大家有所帮助,有不懂的地方或者建议,欢迎大家在下方留言评论。

我是努力在CV泥潭中摸爬滚打的江南咸鱼,我们一起努力,不留遗憾!

人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。 部分原因在于廉价数据和廉价计算资源,这些资源符合深度学习的自然优势。 然而,在不同的压力下发展的人类智能的许多定义特征仍然是当前方法无法实现的。 特别是,超越一个人的经验 - 从婴儿期开始人类智能的标志 - 仍然是现代人工智能的一项艰巨挑战。 以下是部分立场文件,部分审查和部分统一。我们认为组合概括必须是AI实现类似人类能力的首要任务,结构化表示和计算是实现这一目标的关键。就像生物学利用自然和培养合作一样,我们拒绝“手工工程”和“端到端”学习之间的错误选择,而是倡导一种从其互补优势中获益的方法。我们探索如何在深度学习架构中使用关系归纳偏差来促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建模块,具有强大的关系归纳偏差 - 图形网络 - 它概括和扩展了在图形上运行的神经网络的各种方法,并为操纵结构化知识和生成结构化行为提供了直接的界面。我们讨论图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定基础。作为本文的配套文件,我们还发布了一个用于构建图形网络的开源软件库,并演示了如何在实践中使用它们。
GNN+Transformer是指将图神经网络(Graph Neural Network,GNN)与Transformer结构相结合的方法。这种方法的目标是提高GNN在处理图结构数据时的表达能力和可扩展性。引用\[1\]中提到,尽管图Transformer在初步成功方面取得了一些进展,但在表达能力、对图结构的理解以及对更大图的可扩展性方面仍存在一些缺陷。因此,研究人员希望在2022年解决这些问题。引用\[2\]中提到,一些研究已经成功将Transformer推广到图数据上,并取得了优异的性能。其中,Graphormer是一种采用了Transformer主干网络,并针对图进行了创新的方法。Graphormer在OGB LSC竞赛和Facebook催化剂竞赛中表现出色,展示了Transformer在捕获量子结构和迁移知识方面的潜力。此外,Graphormer在小分子建模任务上也取得了最先进的性能。综上所述,GNN+Transformer是一种结合了图神经网络和Transformer的方法,旨在提高图数据处理的能力和性能。 #### 引用[.reference_title] - *1* *2* *3* [GNN与Transformer融合促进药物发现 | 2022几何&图机器学习展望](https://blog.csdn.net/BAAIBeijing/article/details/122852800)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值