小样本中的图神经网络

FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS

1. 初始化节点特征

将图片的视觉特征与类别标签拼接，对于查询集，类别标签初始化为零

2. 使用领接矩阵，建立节点联系

3. 完成GNN传递
   
4. 图传递完成后，使用Prototypical Networks完成分类

Residual Graph Convolutional Networks for Zero-Shot Learning

解决问题：Graph的over-smoothing与overfitting问题；
解决方式：将Graph扩展为有残差连接的Residual Graph
如何解决zero-shot分类问题：参数预测，半监督

1. 将所有类别的语义词向量输入网络中

2. 使用K最近临算法将构造语义词向量的连接，也就是图的邻接矩阵

3. 使用具有残差连接的图卷积网络卷它
   
   

4. 计算可见类的权重预测损失，其中M为可见类的类别数，$f_j$是在Resnet上训练得到的可见类分类权重，${\tilde{f}}_j$是可见类预测分类权重，所以算法应该算是一个半监督算法
   

Zero-Shot Sketch-Based Image Retrieval via Graph Convolution Network

解决问题：给定unseen-category的素描，要搜索出正确的图片

1. Encoding Network使用权重不共享的ResNet50提取图片与素描的特征
2. Semantic Preserving Network将图像与素描的特征拼接，得到节点的特征
3. 构建节点间的邻接矩阵
   （1）计算两节点语义词向量的距离：
   （2）将第一步中得到的语义距离，与视觉特征距离的绝对差进行拼接，外接一个MLP
   
   （3）计算两节点的连接权重，其中t为正则项
   
4. Semantic Reconstruction Network使用VAE生成对应的词向量，计算损失（为防止网络记住有限的词向量，所以采用正态分布生成）

损失函数：feature相似损失+分类损失+semantic回归损失+VAE中的KL损失