图神经网络笔记（一）——设计动机和基础GNN

设计动机

• CNN的提出给机器学习领域带来了巨大突破。它可以提取多尺度局部空间特征，并进一步将其组合成具有较强表示能力的特征，但是CNN只能处理欧几里得空间上的数据（即规则的数据），一个窗口无论移动到图片或一维序列的哪一个位置，其内部的结构都是一模一样的，因此CNN可以实现参数共享。而对于非欧几里得空间中的图，无法直接使用卷积和池化算子。

  • CNN三大特点：局部连接、共享权重、多层结构

• 图嵌入旨在于学习用低维向量表示图的节点、边或子图。随着表示学习和嵌入学习的成功，deepwalk、、node2vec、LINE等方法先后被提出。但是这些方法有两大缺点：

  • 参数量随节点数线性增长，大部分方法不能处理有节点属性的图
  • 直接的嵌入方法缺乏泛化能力，无法处理动态增长的图

基础图神经网络

• 为了根据输入的节点邻居更新节点状态，基础的GNN模型使用了一个带参数的函数f（局部转移函数，local transition function），这一函数由全部节点共享。为了得到节点的输出，引入另一个带参数的函数g（局部输出函数，local output functino）。于是，节点嵌入表示$h_v$和输出嵌入表示$o_v$公式化如下：

  • $h_v=f(x_v,x_{co[v]},h_{ne[v]},x_{ne[v]})$
  • $o_v=g(h_v,x_v)$
  • 注：$co[v]$和$ne[v]$分别表示节点的边集合和节点集合，$x$和$h$分别表示输入特征和隐状态。$x_v,x_{co[v]},h_{ne[v]},x_{ne[v]}$分别表示节点特征、该节点边的特征、该节点相邻节点的特征、该节点相邻节点的特征。

• 将所有的状态、输出、特征和节点特征分别堆叠起来，并使用矩阵形式分别表示为$H,O,X,X_N$，上面的公式则可以改写为：

  • $H=F(H,X)$
  • $O=G(H,X_N)$
  • $F,G$分别是全局转移函数和全局输出函数

• 根据巴拿赫不动点定理，GNN采用如下迭代方式求解节点状态：

  • $H^{t+1}=F(H^t,X)$，$t$表示第$t$轮迭代
  • 巴拿赫不动点定理：巴拿赫不动点定理，又称为压缩映射定理或压缩映射原理，是度量空间理论的一个重要工具。它保证了度量空间的一定自映射的不动点的存在性和唯一性，并提供了求出这些不动点的构造性方法。
    • 若$\rho (x,y)$表示x, y之间的距离。巴拿赫不动点定理-压缩映射定理：设$(X,\rho )$是一个完备距离空间，$T$是$X,\rho$到其身的一个压缩映射，那么$X$中存在唯一的$T$不动点。
    • 压缩映射定义：$T:(X,\rho )\to (X,\rho )$且满足对于$\forall (x,y)\in X$，存在一个$0<a<1$使得$\rho (T(x),T(y))\le a\rho (x,y)$

• 将目标信息作为监督信号，损失函数可以定义为：$loss={\sum }_{i=1}^p(t_i-o_i)$, $t_i$表示节点i的目标信息, $p$是有监督标签的数量。

注：笔记参考自书籍《图神经网络导论》，刘志远，周界，李泺秋。如有侵权，联系即删。