GNN学习笔记

Sakura.66

于 2019-11-26 15:20:03 发布

1097

文章标签： GNN 图神经网络原理

本文链接：https://blog.csdn.net/m0_43421755/article/details/103181937

版权

本文参考以下链接编写：
1.《图神经网络综述：模型与应用》
2. 几种图神经网络方法总结
3.图神经网络模型

一.GNN提出动机

1 CNN
2 图嵌入
（第一次提出GNN的论文：The graph neural network model (Scarselli, F., et al., 2009)）

二.GNN

1.优点
1）可以对由元素组成的输入、输出及其依赖性进行建模，
2）可以用RNN核同时对图上的扩散过程进行建模
2.特点
1）GNN在每个节点进行传播，忽略节点的输入顺序，换句话说，GNNs 的输出对于节点的输入顺序是不变的；（改善了CNN遍历所有可能的顺序作为模型的输入的问题）
2）GNN 通常通过邻域状态的加权和来更新节点的隐藏状态；在标准神经网络中，两个节点之间的依赖信息仅仅作为节点的特征
3）发展：推理是高级人工智能的一个重要研究课题，GNN 探索从像场景图片和故事文档这样的非结构性数据生成图形，这可以成为进一步高级 AI 的强大神经模型。
4）图神经网络中每一层的聚合所使用的参数是相同的，并且这个模型可以推理出新出现节点的embedding或者一张新图的embedding。
3.基本概念

1）图（Graph）：由 顶点（节点） 和边组成。分为有向图（wiki）和无向图。

4.基本思想
基于节点的局部邻域信息对节点进行embedding。直观来讲，就是通过神经网络来聚合每个节点及其周围节点的信息。
（将图中的节点视为目标或者concept，边表示顶点间关系。每个concept 都自然的通过各自的特征和关联concepts的特征定义。然后通过顶点包含的信息以及其邻域的信息，给每个顶点一个状态向量）
在这里插入图片描述
节点如何获取它的邻居节点的信息。最基本的想法就是聚合一个节点的邻居节点信息时，采用平均的方法，并使用神经网络作聚合操作，具体方法如下图：

那么如何训练这个模型，具体分为监督、和无监督两种方法。
无监督的方法包括：

随机游走（Random walks）：node2vec， DeepWalk
图分解（Graph factorization）
训练模型使得相似的节点具有相似的embedding
监督的方法，以二分类举例，可以定义一个交叉熵函数来作为损失函数：
在这里插入图片描述
图神经网络中每一层的聚合所使用的参数是相同的，并且这个模型可以推理出新出现节点的embedding或者一张新图的embedding。
5.模型（原理）
一张图解释上面的基本思想（觉得这个图特写形象的解释了GNN的主要思想）：
在这里插入图片描述
其中：
$f_w$ ：局部变换函数，描述节点和其邻居节点的依赖性；
$g_w$ ：局部输出函数，刻画输出值的生成过程；
将以上式子抽象为公式1：
公式1：
$x_n = f_w(l_n,l_{co[n]},x_{ne[n]},l_{ne[n]})$
$o_n = g_w(x_n,l_n)$

$l_n:$ 节点n的属性
$l_{co[n]}$ ：关联边的属性
$x_{ne[n]}$ ：邻居节点的状态
$l_{ne[n]}$ ：邻居节点的属性

Remark:

邻域的定义可以根据实际情况自由设定
变换函数和输出函数的参数可能依赖于不同的顶点 n
利用图表示，我们要求的是点或者边信息的一个embedding（图植入，在这里我们是一个向量，实际上也可以是其他更复杂的信息表示，甚至是另一个图）也就是F学出来一个图的内在联系，G学习的是embedding到输出的映射

整合所有的状态，属性和输出等式，公式1可以表示为公式2：
公式2：
$x = F_w(x,l)$
$o = G_w(x,l_N)$
$F_w$ ：全局变换函数
$G_w$ ：全局输出函数
在这里插入图片描述
个人理解：图1是一张graph，图2是图1的一层GNN表示，图3是图2的多层表示，即GNN网络

实现GNN需要如下技术：

求解(1)的方法。
更新 $f_w$ 和 $g_w$ 的学习算法。
$f_w$ 和 $g_w$ 的实现方案。

6.状态值的计算

通过经典的迭代方式对状态进行计算： $x_{t+1} = F_w(x(t),l)$
因此状态和输出值的迭代计算过程如下：
$x_n(t+1) = f_w(l_n,l_{co[n]},x_{ne[n]}(t),l_{ne[n]})$
$o_n(t) = g_w(x_n(t),l_n)$
函数 $f_w$ 和 $g_w$ 可以通过使用前馈神经网络来实现