深度学习笔记（十一）图神经网络

图结构数据

图结构数据是一类高度结构化、信息富集的数据。但传统的CNN和RNN并不能很好地利用这类数据中的信息。

图结构的基本元素

图$\mathcal{G}=(\mathbf{A},\mathbf{X})$。其中邻接矩阵$\mathbf{A}\in {\mathbb{R}}^{N\times N}$，其中N为节点数；特征矩阵$\mathbf{X}\in {\mathbb{R}}^{N\times F}$，其中F为特征数。

运用图数据的基本思想

1. 节点的社区构成计算图
2. 信息沿边在节点间传播
3. 生成节点嵌入信息（相当于特征提取）

给出计算图

• 你可以定义一个节点的“社区”是什么，比如一跳邻居、两跳邻居
• 每个节点都有一张计算图

信息传播

• 使用神经网络将邻居的信息传播给中心节点
• 目标是将与目标点有关的全部信息集成到目标点上

节点嵌入

• 每一层都有一个输出
• 理论上可以是任意深度的
• 节点嵌入基本公式
  $$\begin{gathered} {\mathbf{h}}_v^0={\mathbf{x}}_v \\ {\mathbf{h}}_v^k=\sigma ({\mathbf{W}}_k\sum _{u\in N(v)}\frac{{\mathbf{h}}_u^{k-1}}{|N(v)|}+{\mathbf{B}}_k{\mathbf{h}}_v^{k-1}) \\ {\mathbf{z}}_v={\mathbf{h}}_v^K \end{gathered}$$
  公式解读：第k层的嵌入是k-1层的邻域均值乘以系数${\mathbf{W}}_k$加前一层的点嵌入乘系数${\mathbf{B}}_k$，再经过非线性层$\sigma$（如ReLU）；最终输出${\mathbf{z}}_v$为第$K$层的${\mathbf{h}}_v^K$

GNN

无监督训练

• 点嵌入训练：指导思想是相似点的嵌入应当是相似的。
• 对相似点的定义：基于随机游走、图分解、相邻点

有监督训练

Loss公式：
$$\mathcal{L}=\sum _{v\in V}{y}_v\log (\sigma ({\mathbf{z}}_v^T\theta ))+(1-y_v)\log (1-\sigma ({\mathbf{z}}_v^T\theta ))$$
其中，$y_v$是节点的label；${\mathbf{z}}_v$是点嵌入的输出，$\theta$是分类权重

GCN

灵感：CNN对每个邻像素有不同的权重，图中能对每个邻居有不同的权重吗？
输入与GNN相同，输出比GNN多出一个图层面的输出

GCN更新规则

$$\begin{gathered} {\mathbf{h}}_i^{l+1}=\sigma ({\mathbf{W}}_0^l{\mathbf{h}}_i^l+\sum _{j\in N(i)}\frac{1}{c_{ij}}{W}_1^l{h}_j^l) \\ {H}^{l+1}=f(H^l,A) \end{gathered}$$
其中$c_{ij}$是正态常数，可训练也可固定；$H^l$是整个图在第l次更新后的嵌入。

参数归一化

如果参数矩阵A是未经归一化的，将特征向量与之相乘的操作会彻底改变特征向量的标度。因此需要将参数矩阵A归一化（$D^{-1}A$）。一般有三种归一化：归一化到列和为1、归一化到相邻节点特征的加权平均值、对称归一化（$D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$）

归一化传播规则

$$f(H^l,A)=\sigma \left({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{H}^l{W}^l\right)$$
其中$\hat{A}=A+I$，$\hat{D}$是$\hat{A}$的节点度对角矩阵（这是个啥？我也不知道）
优点：

• 全局权值共享
• 排列不变性
• 线性复杂度

缺点：

• 仅间接支持边特征
• 深度网络需要门控机构（gating mechanism）和跳层连接

GraphSAGE

图采样与集成
之前采用的聚集规则：
$${\mathbf{h}}_v^k=\sigma ({\mathbf{W}}_k\sum _{u\in N(v)}\frac{{\mathbf{h}}_u^{k-1}}{|N(v)|}+{\mathbf{B}}_k{\mathbf{h}}_v^{k-1})$$
该工作提出的新聚集规则：
h v k = σ ( W k AGG ( { h u k − 1 , ∀ u ∈ N ( v ) } ) , B k h v k − 1 ) \mathbf h_v^k=\sigma(\mathbf W_k\text{AGG}(\{\mathbf h_u^{k-1},\forall u\in N(v)\}),\mathbf B_kh_v^{k-1}) hvk​=σ(Wk​AGG({huk−1​,∀u∈N(v)}),Bk​hvk−1​)
其中AGG可以是任意可微的、能将一组向量映射到一个向量的函数。如Mean、Pool、LSTM等操作。

Gated GNN

想让图神经网络可以更深层从而整合更远处的信息，就会面临过拟合和梯度消失的挑战。从RNN借鉴了两点：

1. 跨层参数共享
2. 循环状态更新
   更新公式：
   $$\begin{gathered} {\mathbf{m}}_v^k=\mathbf{W}\sum _{u\in N(v)}{\mathbf{h}}_u^{k-1} \\ {\mathbf{h}}_v^k=\text{GRU}({\mathbf{h}}_v^{k-1},{\mathbf{m}}_v^k) \end{gathered}$$
   经此更改，模型能支持超过二十层的深层神经网络，从而能将关于图的全局信息传播给所有节点，这对于图表示非常有用

GAT

具体内容参看Graph Attention Network。

核心公式

$$\begin{gathered} {\alpha }_{ij}=\frac{\exp (\text{LeakyReLU}({\vec{a}}^T[{\mathbf{W}}_{{\vec{h}}_i}\Vert {\mathbf{W}}_{{\vec{h}}_j}]))}{{\sum }_{k\in \mathcal{N}(i)}\exp (\text{LeakyReLU}({\vec{a}}^T[{\mathbf{W}}_{{\vec{h}}_i}\Vert {\mathbf{W}}_{{\vec{h}}_k}]))} \\ \text{Average:}{\vec{h}}_i^{\prime }=\sigma \left(\frac{1}{K}\sum _{k=1}^K\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\mathbf{W}}^k{h}_j\right) \\ \text{Concat:}{\vec{h}}_i^{\prime }=\stackrel{K}{\underset{k=1}{\Vert }}\sigma (\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\mathbf{W}}^k{\vec{h}}_j) \end{gathered}$$

优缺点

优点：

• 在使用点乘Attention时不需要储存中间基于边的激活向量（是个啥我也不知道）
• 在边嵌入上比GCN慢但比GNN快

缺点：

• 在边嵌入上的表达能力不及GNN
• 更难优化

子图嵌入

两类方法：

1. 将子图中所有节点嵌入的加和（或加权和）视为该子图的嵌入
2. 创造一个虚节点代表该子图

GNN的应用

点分类、图分类、边预测
对于以上三类任务，给定模型输出$\mathbf{Z}$：
点分类公式：$softmax({\mathbf{z}}_n)$
图分类公式：$softmax({\sum }_n{\mathbf{z}}_n)$
边预测公式：$p(A_{ij})=\sigma ({\mathbf{z}}_i^T{\mathbf{z}}_j)$

半监督训练

$$\mathcal{L}=-\sum _{l\in {\mathcal{Y}}_l}\sum _{f=1}{Y}_{lf}\ln Z_{lf}$$
More about GNN