【阅读笔记】Multi-Dimensional Edge Features Graph Neural Network on Few-Shot Image Classification

Abstract

使用图神经网络 (GNN) 进行小样本图像分类是近年来的热门话题。大多数基于 GNN 的方法都取得了可喜的性能。这些方法利用节点特征或一维边缘特征进行分类，忽略节点之间的丰富边缘特征。在本文中，我们提出了一种利用多维边缘特征的新型图神经网络（MDE-GNN），该网络基于边缘标记图神经网络（EGNN）和用于小样本学习的直推式神经网络。与之前基于 GNN 的方法不同，我们利用多维边缘特征信息在图中构建边缘矩阵。在节点和边缘特征层更新后，我们通过精心设计的边缘聚合模块通过多维边缘特征生成相似度得分矩阵。我们网络中的参数是通过带有边缘相似性损失的情节训练迭代学习的。我们将我们的模型应用于监督少样本图像分类任务。与之前的 GNN 和其他小样本学习方法相比，我们使用两个基准数据集实现了最先进的性能。

Contributions

1) MDE-GNN 首次提出利用具有多维边缘标签信息的 GNN 进行少样本学习分类任务。

2) MDE-GNN 使用节点间的绝对距离向量更新多维边缘特征，并利用边缘聚合网络获得相似度分数。

3）我们对基准数据集进行了充分的实验，与以前的方法相比，获得了最先进的性能。

Method

 1、嵌入网络

嵌入网络包含四个卷积层和一个全连接层。每个卷积层都包含 Convolution、Batch Normalization、Max pooling 和leaky-ReLU 作为激活函数。给定所有输入样本 X = {xi}i=1,..T，其中 T 是样本数，T = N × K + N，训练嵌入网络以将 xi 映射到输出特征表示：

 2、多维边图神经网络

节点特征由嵌入神经网络初始化，参数为 θ。边缘特征初始化如下：

遵循图注意力神经网络（GAT）的思想，使用多维边缘特征作为权重来聚合邻居节点信息。节点更新机制如下：

值得注意的是，节点特征的更新是基于不同维度的边缘特征聚合相似的邻居节点特征，而忽略了不同节点的影响。

然后，边缘更新网络利用更新后的节点特征生成多维相似性注意矩阵。通过组合注意矩阵分别更新多维边缘特征，如下所示：

其中 𝑓𝑎𝑙 是一个多维相似度计算网络，将节点之间的绝对距离向量映射到 p-dimension，sig 表​​示可以将相似度得分映射为 0 到 1 的值的 sigmoid 函数。此外，相似度得分和对应的边缘特征为根据公式[5]计算得到更新后的边缘特征。

在节点和边缘特征层层传播之后，聚合网络用于通过加权不同维度的边缘特征来生成预测的节点相似度，使得：

 利用边缘分类的结果，损失可以总结为：

实验结果