Mixup for Node and Graph Classification阅读

一篇来自WWW21的论文，看完觉得颇为有趣，特地记录一下：

mixup是一种CV中常用的数据处理手段，可以从现存的有标签样本中生成新的样本，其思想也非常简单，假设有两个样本$(x_i,y_i),(x_j,y_j)$，新的样本生成方式为：
$$x_{ij}=\alpha x_i+(1-\alpha )x_j$$

$$y_{ij}=\alpha y_i+(1-\alpha )y_j$$
其实也蛮好理解，比方说$x_i,x_j$代表着两张图片，对应的标签分别为1和0，$\alpha$取0.9，即0.9个$x_i$掺了0.1个$x_j$，那么$y_{ij}$就是0.9，这很符合直觉。
实验证明mixup可以减小训练中的过拟合，这个似乎也可以直观理解：如果样本中标签只有0和1，那么模型再训练时会让预测的标签尽可能地向两端去逼近，但是我们使用mixup可能使得样本的标签处于[0,1]这个区间，从而使得模型预测的结果均匀地分布在这个区间内。

说到这篇论文，这篇论文就是将mixup应用到了图神经网络中的节点分类和图分类两个任务上，先说图分类，因为这个比较简单：

1. 我们从图分类的样本中取出两个样本$(G_i,y_i),(G_j,y_j)$，因为图分类是先使用一个$readout$函数先得到图的一个embedding，我们记作$x$，那么对于这个得到的$(x_i,y_i),(x_j,y_j)$直接套上面的公式就行。
2. 节点分类：给定一个图$G$，从这个图中取出一个节点对$(i,j)$，在GNN训练的过程中进行mixup，过程也很有意思，不赘述。