图神经网络的计算过程

因为需要研究基于图网络的漏洞检测的可解释性需要熟悉图神经网络，故需要总结以下常见的图网络的前向传播过程。

1.GCN

GCN目前看到的基于结点分类的示例比较多，不过对图分类的还没见过，欢迎大佬补充。

GCN的输入为

• 图的邻接矩阵 $A\in R^{n\times n}$
• 图的结点特征矩阵 $X\in R^{n\times d}$

其中，图 $G=(V,E)$ 中，结点数量 $|V|=n$， 结点特征向量维度为 $d$。

计算过程：
关于图卷积过程有好多版本，这里列举其中之一。

层间传播过程如下：
$$H^{l+1}=\sigma (D^{-\frac{1}{2}}.\tilde{A}.D^{-\frac{1}{2}}.H^l.W^l)$$

• $\tilde{A}=A+I\in R^{n\times n}$, $I$ 为单位矩阵
• $D\in R^{n\times n}$ 为图的度矩阵
• $H\in R^{n\times d}$ 为图的隐层向量，其中 $H^0=X$
• $W^l\in R^{d\times d}$ 为GCN的参数
• $\sigma$ 为激活函数，比如 $sigmoid,Relu$

结点分类结果计算为
$$Z=softmax(H^L.W)$$

• $W\in R^{d\times c}$ 为最终全连接分类层
• $Z\in R^{n\times c}$ 为 $n$ 个结点在 $c$ 个类别上的概率分布
• $L$ 为GCN的网络层数

2.Gated Graph Sequence Neural Network

对于有向图 $G=(V,E)$。

• $Co(v),v\in V$ 表示结点 $v$ 的入边和出边集合（与 $v$ 相连的边集合）。
• $NBR(v),v\in V$ 表示结点 $v$ 的邻居结点集合（包括入边连接和出边连接的）

这里

• 图的邻接矩阵 $A=[A_{out},A_{in}]\in R^{D.|V|\times 2.D.|V|}$
• 图的结点特征矩阵 $X\in R^{n\times d}$

其中，图 $G=(V,E)$ 中， 结点特征向量维度为 $d$，这里邻接矩阵也很特别，每个元素不是数字而是边的特征，用 $D\times D$ 向量表示。

论文提到了2种结构

2.1. Gated Graph Neural Networks(GG-NNs)

模型隐层向量输入为, $v$下标表示结点 $v$ 的向量（论文中的维度标记确实挺乱）
$$h_v^1=[x_v,0]\in R^D,对x_v进行补0$$

前向传播过程类似GRU，如下：
$$a_v^t=A_v^T.[h_1^{(t-1)}...h_{|V|}^{(t-1)}{]}^T+b$$

$$z_v^t=\sigma (W^z.a_v^t+U_z.h_v^{t-1})$$

$$r_v^t=\sigma (W^r.a_v^t+U^r.h_v^{t-1})$$

$$\widetilde{h_v^t}=tanh(W.a_v^t+U.(r_v^t\odot h_v^{t-1}))$$

$$h_v^t=(1-z_v^t)\odot h_v^{t-1}+z_v^t\odot \widetilde{h_v^t}$$

可以看到模型有 $W^z,W^r,W,U_z,U^r,U$ 这些参数，并且这个聚合算法中每个结点的向量聚合了整个图的表示。

其中(由于没看代码，有些向量维度是自己推测的，可能有误)：

• $A_v\in R^{D.|V|\times 2.D}$
• $a_v^t\in R^{2.D}$
• $\sigma 为sigmoid$
• $[h_1^{(t-1)}...h_{|V|}^{(t-1)}{]}^T$ 表示将 $t$ 时刻所有结点向量append形成一个 $R^{D.|V|}$ 向量
• $z_v^t,r_v^t$ 分别为update gate和reset gate

输出为
$$h_{\mathcal{G}}=tanh(\sum _{v\in V}.\sigma ([h_v^T,x_v])\odot tanh([h_v^T,x_v]))$$

2.2. Gated Graph Sequence Neural Networks(GGS-NNs)

架构如下
其中 $F_o^{(1)},F_o^{(2)},...,F_x^{(1)},F_x^{(2)},...$ 为普通GG-NNs网络。可以看到GGS-NNs本身是多个GG-NNs组合成的复杂网络。

模型输出为 $o^{(1)},o^{(2)},...$

3.Graph Attention Networks(GAT)

GAT和普通的attention一样，是一种机制而不是一个模型。

输入为图 $n$ 个顶点的向量 h = { h 1 , h 2 , . . . , h n } , h i ∈ R F \mathcal{h} = \{h_1, h_ 2, ... , h_n\}, h_i \in R^F h={h1​,h2​,...,hn​},hi​∈RF
输出新的向量 h ′ = { h 1 ′ , . . . , h n ′ } , h i ′ ∈ R F ′ h^{'} = \{h_1^{'}, ..., h_n^{'} \}, h_i^{'} \in R^{F^{'}} h′={h1′​,...,hn′​},hi′​∈RF′。

这里定义 $N_i$ 为结点 $i$ 的邻居结点集合。

3.1. attention层因子 $\alpha$ 的计算

这里定义

• $a$ 函数： $a:R^{F^{{}^{\prime }}}\times R^{F^{{}^{\prime }}}\to R$
  即：输入2个 $F^{{}^{\prime }}$ 维向量，输出一个标量， $a$ 函数可以有不同的实现过程，向量内积为其中一种。
• attention层参数矩阵 $W\in R^{F^{{}^{\prime }}\times F}$

通常的计算过程如下：
$$e_{ij}=a(W.h_i,W.h_j)$$

$${\alpha }_{ij}=softma{x}_j(e_{ij})=\frac{exp(e_{ij})}{{\sum }_{k\in N_i}exp(e_{ik})}$$

这里，作者定义
$$e_{ij}=a(W.h_i,W.h_j)=LeakyReLU({\overrightarrow{a}}^T.(W.h_i||W.h_j))$$

• $\overrightarrow{a}\in R^{2.F^{{}^{\prime }}}$
• ${.}^T$ 表示转置
• $||$ 表示concatenation

3.2. 输出向量的计算

一开始
$$h_i^{{}^{\prime }}=\sigma (\sum _{j\in N_i}{\alpha }_{ij}.W.h_i)$$

其中

• $W\in R^{F^{{}^{\prime }}\times F}$ 为graph attention layer的参数矩阵
• $\sigma$ 为非线性激活函数

而作者在计算 $\alpha$ 时定义了 $K$ 个不同的 $a$ 函数（不同的 $\overrightarrow{a}$ 参数）， 计算了 $K$ 个不同的 $\alpha$ 因子，同时模型的参数矩阵也从1个变成 $K$ 个，改进后的计算公式为

$$h_i^{{}^{\prime }}=\sigma (\frac{1}{K}\sum _{k=1}^K\sum _{j\in N_i}{\alpha }_{ij}^k.W^k.h_i)$$

4.GraphSAGE

GraphSAGE类似word2vec是一个无监督的预训练任务，并不是特定的分类任务

这里定义

• 图$G=(V,E)$ 及特征矩阵 $X\in R^{|V|\times d}$。
• $x_v\in X$ 表示结点 $v$ 的向量。
• 图的网络层数 $K$ (也可以理解为时间步)，每层对应一个参数矩阵 $W^k,1\le k\le K$， $K$ 也代表着每个顶点能够聚合的邻接点的跳数，如 $K=2$ 的时候每个顶点可以最多根据其 2 跳邻接点的信息学习其自身的embedding表示
• $N(v)$ 表示 $v$ 的邻居结点

4.1.embedding的计算

结点 $v$ 的embedding $z_v$ 计算过程如下：

隐层向量初始化
$$h_v^0=x_v,v\in V$$

层间传递
h N ( v ) k = A g g r e g a t o r k ( { h u k − 1 } ) , u ∈ N ( v ) ， h v k = σ ( W k . C o n c a t ( h v k ,    h N ( v ) k ) ) , ∀ v ∈ V ， h_{N(v)}^k = Aggregator_k(\{h_u^{k - 1}\}) , u \in N(v)， \\ h_v^k = \sigma(W^k.Concat(h_v^k, \; h_{N(v)}^k)), \\ \forall v \in V， hN(v)k​=Aggregatork​({huk−1​}),u∈N(v)，hvk​=σ(Wk.Concat(hvk​,hN(v)k​)),∀v∈V，

$$h_v^k=\frac{h_v^k}{||h_v^k|{|}_2},\forall v\in V,$$

$$z_v=h_v^K,\forall v\in V$$

其中:

• $Aggregato{r}_k$ 表示网络第 $k$ 层采用的可微分聚合函数
• 这里作者设置 $K=|V|$, 意思是每个结点都可以聚合到整个图所有结点的向量表示
• 出于对计算效率的考虑。这里作者定义 $N(v)$ 并不是 $v$ 的所有邻居结点，而是做了固定尺寸的采样。对每个顶点采样一定数量的邻居顶点作为待聚合信息的顶点。设采样数量为 $k$，若顶点邻居数少于 $k$,则采用有放回的抽样方法，直到采样出 $k$个顶点。若顶点邻居数大于 $k$，则采用无放回的抽样。

4.2.Loss Function

作者给出的是无监督损失，相邻节点有相似的embedding，无关节点的embedding有明显差别。

这里loss定义如下：
$$J_{\mathcal{G}}(z_u)=-log(\sigma (z_u^T.z_v))-Q.E_{v_v\sim P_n(v)}log(\sigma (-z_u^T.z_{v_n}))$$

其中：

• $z_u,\forall u\in V$ 表示图中任意节点的embedding
• $v$ 表示在一个固定长度的随机游走上的结点 $u$ 的邻居结点
• $P_n$ 为负采样分布
• $Q$ 为负采样数量

4.3.聚合函数的选择

聚合函数(aggregator function) 的作用是把一个向量的集合转换成向量,，也就是聚合。和其他机器学习任务中的数据（如图像，文本等）不同，图中的节点是没有顺序的。

aggregator function有两个性质:

• 可微
• 对称

作者使用过的aggregator有

• Mean Aggregator（平均值）
• LSTM Aggregator：和mean aggregator相比，LSTM有更大的表达能力。但是LSTM不符合对称的性质，输入是有顺序的。所以把相邻节点的向量集合随机打乱顺序，然后作为LSTM的输入。
• Pooling aggregator：pooling做aggregator, 所有相邻节点的向量共享权重，先经过一个非线性全连接层，然后做max-pooling

A g g r e g a t o r k p o o l ( . ) = m a x ( { σ ( W p o o l . h u i k + b ) } ) , u i ∈ N ( v ) Aggregator_k^{pool}(.) = max(\{\sigma(W_{pool}.h_{u_i}^k + b)\}), u_i \in N(v) Aggregatorkpool​(.)=max({σ(Wpool​.hui​k​+b)}),ui​∈N(v)

实验结果表明，LSTM或者Pooling效果比较好

参考文献

[1] Kip F T N , Welling M . Semi-Supervised Classification with Graph Convolutional Networks[J]. 2016.

[2] Li Y , Tarlow D , Brockschmidt M , et al. Gated Graph Sequence Neural Networks[J]. Computer Science, 2015.

[3] Velikovi P , Cucurull G , Casanova A , et al. Graph Attention Networks[J]. 2017.

[4] Hamilton W, Ying Z, Leskovec J. Inductive representation learning on large graphs[C]//Advances in Neural Information Processing Systems. 2017: 1024-1034.