GraphSAGE聚合流程计算实例

本篇中我们只讨论聚合流程，不考虑GraphSAGE的小批量训练等内容。

我们先来看一下GraphSAGE的聚合流程伪代码，之后会给出两个具体的计算例子进行说明：

11行中，$N^{(k)}(u)$表示节点u的邻居节点采样函数（指的是从其邻居节点中选取一批节点）,Agg()指的是邻居节点的聚合算子，有平均（加和）聚合算子，也有最大（平均）池化聚合算子。我们接下来会以平均聚合算子和平均池化聚合算子为例进行说明。
12行中，$[h_u^{(k-1)}||h_{N(u)}^k]$表示两个向量缀连起来（即[h1[1], h1[2], …, h1[n], h2[1], h2[2], …, h2[m]]），对这个缀连起来的向量乘一个$W^k$进行线性变换(往往在这一步将向量的维数转换成想要嵌入表示输出的$d_{out}$维)，再加个激活函数进行非线性变换。
最后对得到的向量进行归一化，就对节点$u$完成了一次聚合过程。

数据准备

对于下面这样一个图：

假如我们想要节点的嵌入输出的outputdim为2维的，输入的图对应初始特征数据如下：
$$\begin{gathered} id,x_0,x_1,x_2,x_3 \\ 1,0.5,0.6,0.7,0.8 \\ 2,0.3,0.8,0.3,0.4 \\ 3,0.7,0.9,0.6,0.9 \\ 4,0.2,0.1,0.2,0.3 \\ 5,0.8,0.4,0.3,0.2 \end{gathered}$$

我们先完成第一步，邻居节点聚合。
这一步可以采用多种聚合算子，我们在此以平均聚合算子与平均池化聚合算子为例。

平均聚合算子

这里的Agg（）是指取平均：$AVERAGE(h_j)$

$$h_4^{(0)}=[0.2,0.1,0.2,0.3{]}^T$$
节点4的邻接节点为2，3，5
我们用平均聚合算子AVERAGE(h)对2，3，5这三个节点的信息进行聚合：
$$Ag{g}^{(1)}(h_2(0),h_3(0),h_5(0))$$
就是对这三个向量对应值相加取均值，得到：
$h_{N(4)}^{(1)}=[0.6,0.7,0.4,0.5]$

由上面我们得到$h_4^{(1)}$为：
$$\sigma (W^{(1)}[h_u^{(0)},h_{N(u)}^{(1)}])=\sigma (W^{(1)}[0.2,0.1,0.2,0.3,0.6,0.7,0.4,0.5{]}^T)$$
为了使得输出是一个$2\times 1$的向量，我们设置$W^{(1)}$为一个 $2\times 8$ 的矩阵，比如我们初始化为：

$$\begin{gathered} 1,0,0,0,1,0,1,0 \\ 0,1,0,1,0,0,1,0 \end{gathered}$$

与上面的向量相乘，得到$[1.2,0.8{]}^T$

将其代入激活函数（ReLU）后进行归一化，就正式得到
$$h_4^{(1)}=[0.83205029,0.5547002{]}^T$$
这样就正式完成了对节点4的一次聚合操作。
对第一层的其他节点的操作也是类似的。

平均池化聚合算子

平均池化聚合算子，就是指$AVERAGE[\sigma (Wh+b)]$,$\sigma$是激活函数(ReLU)
具体怎么做的呢？
我们待处理的邻接节点：
$$\begin{gathered} h_2^{(0)}=[0.3,0.8,0.3,0.4], \\ {h}_3^{(0)}=[0.7,0.9,0.6,0.9], \\ {h}_5^{(0)}=[0.8,0.4,0.2,0.3] \end{gathered}$$
此刻我们在此添加一个dense层（全连接层）。这里全连接层是指：对这每个节点，其向量的每个分量经过了一个全连接层。

对于$h_j$，输出是：$ReLU(W{h}_j+b)$

我们引入一个权重矩阵$W$，它是hidden dim×input dim维度的，在这里input dim是4维，我们设定这个隐藏层的输出维度为3，那么W就是一个3×4的矩阵；对于同一层中的每个邻居节点，W是固定的。
b就是一个hidden_dim(3)维的向量。

所以说线性变换的输出就是

这样的话:
对于节点2，我们的输入$h_2(0)=[0.3,0.8,0.3,0.4]$是4维的。
所以
$$\begin{gathered} o1=w11x1+w12x2+w13x3+w14x4+b1 \\ o2=w21x1+w22x2+w23x3+w24x4+b2 \\ o3=w31x1+w32x2+w33x3+w34x4+b3 \end{gathered}$$
所以实际上 $o=W{h}_2(0)$

$W$ 权重的初始化有多种方式，我们在此用随机数初始化

col0	col1	col2	col3
0.17	0.4	-0.14	0.51
0.75	-0.04	0.67	-0.18
0.53	-0.04	0.4	0.77

$b=[0.66,-0.58,-0.64]$

对于节点2,3,5,得到的$W{h}_j+b$分别为
$$\begin{gathered} [1.19,-0.26,-0.08] \\ [1.51,0.15,0.63] \\ [1.08,0.08,0.08] \end{gathered}$$

将上述三个向量经过激活函数ReLU：
就得到(对每个分量分别取ReLU)
$$\begin{gathered} [1.19,0,0] \\ [1.51,0.15,0.63] \\ [1.08,0.08,0.08] \end{gathered}$$

对上面三个向量取均值
$h_{N(4)}^{(0)}=AVERAGE(ReLU(W{h}_j+b))=[1.26,0.08,0.24]$

这样我们就完成了第一步；

刚刚我们得到了$h_{N(4)}^{(1)}$,而 $h_4^{(0)}=[0.2,0.1,0.2,0.3]$

因为经过了一个平均池化聚合，邻居节点的输出变成了3维的，所以GraphSAGE对当前节点与邻居节点分别引入了一个权重矩阵，于是伪代码第12行的操作在这里为：

$$ReLU(W^{(1)}[h_u^{(0)},h_{N(u)}^{(1)}])=ReLU(W_{self}^{(1)}{h}_4^{(0)}+W_{neigh}^{(1)}{h}_{N(4)}^{(1)})$$

因为我们想要输出是2维的，那么
$W_{self}^{(1)}$和$W_{neigh}^{(1)}$就分别是4×2维的和3×2维的;
当然，我们也可以在括号里加一个二维的bias向量作偏置。

将计算得到的结果向量经过一个ReLU函数(依然是对各分量分别取ReLU)，再除以它的模进行归一化后输出，就完成了聚合操作。

（关于具体计算过程，有参考GraphSAGE的官方代码，如有疏漏之处敬请指正）