G-Mixup: Graph Data Augmentation for Graph Classification

1. 摘要

  这项工作开发的图数据的Mixup。Mixup通过在两个随机样本之间插入特征和标签来提高神经网络的泛化和鲁棒性。传统上，Mixup可以处理常规的、类似的网格的欧几里得数据，比如图像或者表格数据。然而，直接采用Mixup对图数据进行增强具有挑战性，因为不同的图通常有以下几个问题：1)节点数量不同；2)不容易对齐；3)在非欧几里得空间中具有独特的类型学。为此，我们提出G-Mixup，通过插入不同类别图的生成器(即graphon)来增强图的分类。具体来说，我们首先使用同一个类中的图来估计graphon。然后，我们不直接操作图，而是在欧氏空间中插入不同类别的graphons，以得到混合graphons，其中合成图是通过基于graphons的采样生成的。大量实验表明，G-Mixup显著提高了GNNs的泛化能力和鲁棒性。

2. 动机

1. 现有的图数据增强方法主要关注于图内的边和节点，不同实例之间的图间增强方法尚未得到充分开发。
2. 能否将Mixup的思想应用于图数据？

存在的问题
1. 图数据是不规则的，不同图中节点的数量通常是不同的；
2. 图数据不对齐，图中的节点没有自然排序，很难匹配不同图之间的节点；
3. 类之间的图拓扑是发散的，来自不同类的一对图的拓扑通常是不同的，而来自同一类的一对图的拓扑通常是相似的。

3. 主要贡献

1. 提出了G-Mixup来增强图分类的训练图。由于直接混合图是很难的，G-Mixup混合不同类型图的graphon来生成合成图；
2. 从理论上证明了合成图将是原始图的混合，其中源图的关键拓扑（即判别主体）将混合在一起；
3. 在各种图神经网络和数据集上证明了G-Mixup的有效性。

4. 定义

4.1 符号定义

  给定图$G$用$V(G)$和$E(G)$分别表示节点和边。节点和边的数量分别用$v(G)=|V(G)|$和$e(G)=|E(G)|$表示。用$m、l$表示图的数量，$N、K$表示节点数量，用$G,H,I$表示图或者图集。$y_G\in R^C$表示图集$G$的标签，其中$C$为图的类数。一个图可以包含一些频繁的子图，这些子图被称为主体。图$G$中的主体表示为$F_G$。图集$G$中的母题集记为$F_G$。$W_G$表示图集$G$的graphon，$W$表示步长函数。$G(K,W)$表示基于graphon $W$的包含$K$个节点的随机图。

4.2 图同态和Graphons

图同态： 图同态是两个图之间的邻接保持映射，即将一个图中的邻接顶点映射到另一个图中的邻接顶点。形式化上，一个图同态$\varphi :F\to G$是$V(F)$到$V(G)$的映射，其中如果 { u , v } ∈ E ( F ) \{u,v\}\in E(F) {u,v}∈E(F)那么 { ϕ ( u ) , ϕ ( v ) } ∈ E ( G ) \{\phi(u),\phi(v)\}\in E(G) {ϕ(u),ϕ(v)}∈E(G)。对于两个图$H$和$G$，它们之间可能存在多个图同态。设$hom(H,G)$表示图$H$到图$G$同态的总数。例如，$H$是一个点$hom(H,G)=|V(G)|$，如果$H$是一条边上的两个点$hom(H,G)=2|E(G)|$，如果$H$是一个三角形上的顶点，那么$hom(H,G)$是$G$中三角形数量的6倍。$H$到$G$的映射总共有$|V(G){|}^{|V(H)|}$，但只有部分是同态的。因此，我们定义同态密度来测量图$H$在图$G$中出现的相对频率，即$t(H,G)=\frac{hom(H,G)}{|V(G){|}^{|V(H)|}}$。例如，

Graphons： graphon是一个连续的、有界的对称函数$W:[0,1{]}^2\to [0,1]$，可以认为是具有无限个节点的图的权矩阵。那么，给定两点$u_i,u_j\in [0,1],W(i,j)$表示节点$i$和$j$与一条边相关的概率。图的不同量可以用graphon的函数来计算。例如，图中节点的度可以很容易地扩展为图中的度分布函数，其特征是图的边缘$d_W(x)={\int }_0^{1}W(x,y)d_y$。同样，同态密度的概念也可以自然地从图扩展到graphons。给定一个任意图主体$F$，其关于graphon$W$的同态密度由$t(F,W)={\int }_{[0,1{]}^{V(F)}}{\prod }_{i,j\in E(F)}W(x_i,x_j){\prod }_{i\in V(F)}d{x}_i$。例如，graphon$W$的边密度是${\int }_{[0,1{]}^2}W(x,y)dxdy$，graphon$W$的三角形密度为${\int }_{[0,1{]}^3}W(x,y)W(x,z)W(y,z)dxdydz$

5. 方法

5.1 G-Mixup

  G-Mixup对不同的图生成器进行插值，得到一个新的混合图生成器。然后，基于混合graphon对合成图进行采样，实现数据扩充。从该生成器中采样的图部分具有原始图的性质。形式上，G-Mixup的表达式为:

其中$W_G,W_H$是图集$G$和$H$的graphons。混合graphon由$W_I$表示，$\lambda \in [0,1]$是控制不同源集贡献的权值超参数。由$W_I$生成的合成图集合为 I = { I 1 , I 2 , . . . , I m } I=\{I_1,I_2,...,I_m\} I={I1​,I2​,...,Im​}。$y_G\in R^C$和$y_H\in R^C$分别是包含图$G$和图$H$的真实标签的向量，其中$C$为类的数量。图集$I$中合成图的标签向量记为$y_I\in R^C$。
  如图1和上面的方程所示，提出的G-Mixup包括三个关键步骤：1）为每一类图估计一个graphon，2）混合不同图类的graphons，3）基于混合graphons生成合成图。具体来说，假设我们有两个图集 G = { G 1 , G 2 , . . . , G m } G=\{G_1,G_2,...,G_m\} G={G1​,G2​,...,Gm​}，标签为$y_G$， H = { H 1 , H 2 , . . . , H m } H=\{H_1,H_2,...,H_m\} H={H1​,H2​,...,Hm​}，标签为$y_H$。Graphons $W_G$和$W_H$分别从图集$G$和$H$中估计。然后，我们通过线性插值两个graphons及其标签将它们混合，得到$W_I$和$y_I$。最后，基于$W_I$对一组合成图$I$进行采样，作为额外的训练图数据。

5.2 实现

Graphon估计和混合： graphon是一个未知函数，没有真实图形的封闭表达式。因此，我们使用阶梯函数来近似graphon。一般来说。阶梯函数可以看成是一个矩阵$W=[w_{k{k}^{\prime }}]\in [0,1{]}^{K\times K}$，其中$W_{ij}$是节点$i$和节点$j$之间存在边的概率。在实践中，我们使用矩阵形式的阶梯函数作为graphon来混合并生成合成图。阶梯函数估计方法已经得到了很好的研究，该方法首先根据节点测量值（如度）对一组图中的节点进行对齐，然后从所有对齐的邻接矩阵中估计阶梯函数。典型的阶梯函数估计方法包括排序和平滑（SAS）方法，随机块逼近（SBA），“最大差距”（LG），矩阵完成（MC），通用奇异值阈值（USVT）。在形式上，一个阶梯函数$W^P:[0,1{]}^2\to [0,1]$被定义为$W^P(x,y)={\sum }_{k,k^{\prime }=1}^K{w}_{k{k}^{\prime }}{1}_{P_k\times P_{k^{\prime }}}(x,y)$，其中$P=(P_1,...,P_K)$表示将$[0,1]$划分成长度为$1/K,w_{k{k}^{\prime }}\in [0,1]$的$K$个相邻区间，如果$(x,y)\in P_k\times P_{k^{\prime }}$，则指示函数$1_{P_k\times P_{k^{\prime }}}=1$，否则为0。对于二分类问题，我们有 G = { G 1 , G 2 , . . . , G m } G=\{G_1,G_2,...,G_m\} G={G1​,G2​,...,Gm​}和 H = { H 1 , H 2 , . . . , H m } H=\{H_1,H_2,...,H_m\} H={H1​,H2​,...,Hm​}具有不同的标签，我们估计他们的阶梯函数$W_G\in R^{K\times K}$和$W_H\in R^{K\times K}$，其中我们让$K$为所有图中节点的平均数量。对于多类分类，我们首先估计每一类图的阶梯函数，然后随机选择两类图进行混合。所得的阶梯函数$W_I=\lambda W_G+(1-\lambda )W_H\in R^{K\times K}$，作为合成图的生成器。

合成图生成： graphon $W$提供了一个分布来生成任意大小的图。具体来说，$K$节点随机图$G(K,W_I)$的生成过程如下：

我们设$W(u_i,u_j)=W[\lfloor 1/u_i\rfloor ,\lfloor 1/u_j\rfloor ]$。第一步在$[0,1]$上独立于均匀分布$Uni{f}_{[0,1]}$对K个节点进行采样。第二步生成邻接矩阵 A = [ a i j ] ∈ { 0 , 1 } K × K A = [a_{ij}]∈\{0,1\}^{K×K} A=[aij​]∈{0,1}K×K，其元素值遵循由阶梯函数确定的伯努利分布$Bern(\cdot )$。由此得到一个图$G$，其中 V ( G ) = { 1 , … , K } V(G) =\{1,…,K\} V(G)={1,…,K}和$E(G)=\{(i,j)|a_{ij}=1\}$。通过多次执行上述过程，可以生成一组合成图。合成图节点特征的生成包括两个步骤：1）基于原始节点特征构建graphon节点特征，2）基于graphon节点特征生成合成图节点特征。
  具体来说，在graphon估计阶段，我们在对齐邻接矩阵的同时对齐原始节点特征，因此我们对每个graphon都有一组对齐的原始节点特征，然后我们对对齐的原始节点特征进行池化(在我们的实验中是平均池化)，获得图形节点特征。生成的图的节点特征与graphon特征相同。

6. 理论依据

定理6.1（判别主体）图$G$的判别主体$F_G$是节点和边数量最少的子图，它可以决定图$G$的类，$F_G^{\prime }$是集合$G^{\prime }$中图的判别主体的集合。直观地说，判别主体是图形的关键拓扑结构。假设（i）每个图$G$都有一个判别主体$F_G$，（ii）一组图$G^{\prime }$有一个有限的判别主体集合$F_G^{\prime }$。

6.1 $\lambda W_G+(1-\lambda )W_H$中是否存在判别主体$F_G$和$F_H$？

定理6.2 给定两个图集$G$和$H$，对应的图形是$W_G$和$W_H$，对应的判别主体集合是$F_G$和$F_H$。对于每一个判别主体$F_G\in F_G^{\prime }$和$F_H\in F_H^{\prime }$，混合graphon$W_I=\lambda W_G+(1-\lambda )W_H$中$F_G/F_H$的同态密度差与graphon$W_H/W_G$的同态密度差的上界为
$$\begin{gathered} |t(F_G,W_I)-t(F_G,W_G)|\le (1-\lambda )e(F_G)||W_H-W_G|{|}_{\square }, \\ |t(F_H,W_I)-t(F_H,W_H)|\le \lambda e(F_H)||W_H-W_G|{|}_{\square } \end{gathered}$$
其中$e(F)$是图$F$的节点数，$||W_H-W_G|{|}_{\square }$表示切割规范。

定理4.2表明，混合graphon与原始graphon的同态密度差有上界。差异取决于超参数$\lambda$、边数$e(F_G)/e(F_H)$和切割规范$||W_H-W_G|{|}_{\square }$。因为$e(F_G)/e(F_H)$和切割规范$||W_H-W_G|{|}_{\square }$是由数据集决定的（可以看作是一个常数），同态密度的差异将由$\lambda$决定。在此基础上，将混合garphon的标签设为$\lambda y_G+(1-\lambda )y_H$。因此，G-Mixup可以将两个不同graphon的不同鉴别图案保存到一个混合graphon中。

6.2 从graphon$W_I$生成的图形会保留混合的区别性图案吗？

定理6.3 设$W_I$为混合graphon，$n\ge 1,0<\epsilon <1$，$F_I$为混合判别主体，则$W_I$随机图$G=G(n,W_I)$满足$P(|t(F_I,G)-t(F_I,W_I)|>\epsilon )\le 2exp(-\frac{{\epsilon }^{2}n}{8v(F_I{)}^2})$

定理4.3指出，对于任意指定的非零裕度$\epsilon$，当从混合graphon中采样足够数量的图时，合成图中判别主体的同态密度将以高概率近似等于graphon中$t(F_I,G)\approx t(F_I,W_I)$的同态密度。换句话说，如果样本数$n$足够大，合成图将以非常高的概率保留混合graphon的判别主体。因此，G-Mixup可以将两个不同图的判别主体保留为一个混合图。

7. 实验结果

7.1 现实世界中不同类别的图有不同的graphons吗?

  在图2中可视化了估计的图形。结果表明:同一数据集中不同类型的图的图形具有明显的差异。图2中IMDB-BINAERY的图形显示类1的图形有更大的密集区域，这表明该类图比类0的图有更大的群落。图2中的REDDIT-BINARY图显示类0的图有一个高度节点，而类1的图有两个高度节点。

7.2 G-Mixup在做什么?

在图3中可视化REDDIT-BINARY数据集中生成的合成图。我们观察到合成图确实是原始图的混合。原始图和生成的合成图分别显示在图3(a)(b)和图3©(d)(e)中。图3展示了混合graphon $0.5\ast W_G+0.5\ast W_H$能够生成具有高度节点和密集子图的图，可以将其视为具有一个高度节点和两个高度节点的图的混合。它验证了G-Mixup更喜欢保留从原始图的判别主体。

7.3 G-Mixup能提高GNN的性能和泛化能力吗?

• G-Mixup可以提高图神经网络在各种数据集上的性能。 从表2可以看出，G-Mixup在15个报道的准确度中获得了12个最佳性能，这大大提高了GNN的性能。总的来说，G-Mixup的性能比普通模型好2.84%。从表3可以看出，在8种情况下，G-Mixup获得了7个最佳性能，这大大提高了DiffPool和MincutPool的性能。

• G-Mixup可以提高图神经网络的泛化能力。 从图4中测试数据的损失曲线(绿线)来看，G-Mixup的测试数据的损失(绿色虚线)始终低于普通模型(绿色实线)。考虑到GMixup具有更好的性能和更好的测试损耗曲线，它能够大大提高GNN的泛化性能。

• G-Mixup能稳定模型训练。 如表2所示，G-Mixup在15个报告数据中比香草模型的标准偏差低了11个。此外，图4中G-Mixup的训练/验证/测试曲线(虚线)比香草模型(实线)更稳定，说明G-Mixup稳定了图神经网络的训练。

7.4 G-Mixup能提高GNN的鲁棒性吗?

  G-Mixup提高了图神经网络的鲁棒性。 作者研究了G-Mixup的两种鲁棒性，分别是标签破坏鲁棒性和拓扑破坏鲁棒性，结果分别报告在表4和表5中。表4显示了G-Mixup总体上获得了更好的性能，表明它比普通基线更健壮。表5显示，当图拓扑损坏时，G-Mixup更健壮，因为准确性始终比基线更好。当图标签或拓扑有噪声时，这可能是G-Mixup的一个优势。

7.5 更多分析

7.5.1 生成图的节点数

  作者研究了G-Mixup生成的合成图中节点数量的影响，结果显示在图5中。从图5中观察到G-Mixup中使用所有原始图的平均节点数的是超参数$K$更好的选择

7.5.2 对更深层次模型的影响

  G-Mixup改进了不同层次的图神经网络的性能。 作者研究了GCN深入时G-Mixup的性能。对不同的层数(2−9)进行实验，结果显示在图6中。在图6中，左边的图显示当GCNs的深度为2−6时，G-Mixup的性能更好。深度GCNs(7−9)的性能与基线相当，但精度远低于浅层GCNs。右边的图显示，当GCNs深度为2−9时，G-Mixup的性能显著提高。这验证了G-Mixup在图神经网络深入研究时的有效性。