GNN学习笔记

最新推荐文章于 2024-09-10 13:23:41 发布

Sakura.66

最新推荐文章于 2024-09-10 13:23:41 发布

阅读量1.2k

点赞数 6

文章标签： GNN 图神经网络原理

本文链接：https://blog.csdn.net/m0_43421755/article/details/103181937

版权

本文介绍了图神经网络（GNN）的提出动机、优点、特点、基本思想、无监督和监督训练方法、模型原理、状态值计算以及学习算法。GNN通过节点的局部邻域信息进行embedding，能够处理非结构化数据，适用于图的推理和建模。

摘要由CSDN通过智能技术生成

本文参考以下链接编写：
1.《图神经网络综述：模型与应用》
2. 几种图神经网络方法总结
3.图神经网络模型

一.GNN提出动机

1 CNN
2 图嵌入
（第一次提出GNN的论文：The graph neural network model (Scarselli, F., et al., 2009)）

二.GNN

1.优点
1）可以对由元素组成的输入、输出及其依赖性进行建模，
2）可以用RNN核同时对图上的扩散过程进行建模
2.特点
1）GNN在每个节点进行传播，忽略节点的输入顺序，换句话说，GNNs 的输出对于节点的输入顺序是不变的；（改善了CNN遍历所有可能的顺序作为模型的输入的问题）
2）GNN 通常通过邻域状态的加权和来更新节点的隐藏状态；在标准神经网络中，两个节点之间的依赖信息仅仅作为节点的特征
3）发展：推理是高级人工智能的一个重要研究课题，GNN 探索从像场景图片和故事文档这样的非结构性数据生成图形，这可以成为进一步高级 AI 的强大神经模型。
4）图神经网络中每一层的聚合所使用的参数是相同的，并且这个模型可以推理出新出现节点的embedding或者一张新图的embedding。
3.基本概念

1）图（Graph）：由 顶点（节点） 和边组成。分为有向图（wiki）和无向图。

4.基本思想
基于节点的局部邻域信息对节点进行embedding。直观来讲，就是通过神经网络来聚合每个节点及其周围节点的信息。
（将图中的节点视为目标或者concept，边表示顶点间关系。每个concept 都自然的通过各自的特征和关联concepts的特征定义。然后通过顶点包含的信息以及其邻域的信息，给每个顶点一个状态向量）
在这里插入图片描述
节点如何获取它的邻居节点的信息。最基本的想法就是聚合一个节点的邻居节点信息时，采用平均的方法，并使用神经网络作聚合操作，具体方法如下图：

那么如何训练这个模型，具体分为监督、和无监督两种方法。
无监督的方法包括：

随机游走（Random walks）：node2vec， DeepWalk
图分解（Graph factorization）
训练模型使得相似的节点具有相似的embedding
监督的方法，以二分类举例，可以定义一个交叉熵函数来作为损失函数：
在这里插入图片描述
图神经网络中每一层的聚合所使用的参数是相同的，并且这个模型可以推理出新出现节点的embedding或者一张新图的embedding。
5.模型（原理）
一张图解释上面的基本思想（觉得这个图特写形象的解释了GNN的主要思想）：
在这里插入图片描述
其中：
$f_w$ ：局部变换函数，描述节点和其邻居节点的依赖性；
$g_w$ ：局部输出函数，刻画输出值的生成过程；
将以上式子抽象为公式1：
公式1：
$x_n = f_w(l_n,l_{co[n]},x_{ne[n]},l_{ne[n]})$
$o_n = g_w(x_n,l_n)$