论文阅读笔记《RelationNet2: Deep Comparison Columns for Few-Shot Learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于度量学习的小样本学习算法（DCN），从论文的题目能够看出本文是基于RelationNet进行改进的，但与RelationNet相比本文有许多新的改进。首先在网络基础结构上本文是引入了SENet网络，取代了Conv-4的结构；其次与RN只对特征提取网络最后输出的特征图进行相关性计算不同，本文对特征提取网络中间阶段的输出结果都进行了相关性计算；最后与常规特征提取网络直接输出特征图的方式不同，本文输出的是特征图的均值和方差，然后再通过一种重参数化（Reparameterization）的技巧，重构得到特征图，起到一种数据增强（data augmentation）的效果，提高了算法的泛化能力。本文的网络结构如下图所示

  首先，可以看到特征提取网络是分成了四个EM模块，每个模块都是由SENet结构构成的，每个模块都会输出$f_{\theta ,\mu }^v$和$f_{\theta ,\sigma }^v$两个部分，分别表示特征图的均值和方差，然后通过重参数化的形式得到重构后的特征图，重参数化过程如下

其中$\epsilon$是从高斯分布中随机采样得到的，这样使得每个模块每次重构时得到的特征图$f_{\theta }^v$都带有随机性，这就能够起到数据增强的效果。特别要注意的是，这里提到的$f_{\theta ,\mu }^v$和$f_{\theta ,\sigma }^v$并不是真的对特征图计算均值和方差，而是把特征图分割成两个部分，分别表示均值和方差。举个例子，比如第一个EM模块输出通道数原本是64，而本文则是输出65个通道的特征图，前$64$个通道表示特征图均值，最后一个通道表示特征图方差，也就是说对所有通道而言其方差是相同的，然后再进行重参数化计算得到64个通道的重构特征图。
  得到的重构特征图一方面要进入下一个特征提取模块EM进行特征提取，另一方面要进入相关性计算模块RM来计算查询样本和支持样本的相关性。对应特征提取网络中的四个模块，RM也包含四个模块，用于相似性的计算。RM模块的输入包括查询样本和支持样本的特征图，还包括上一个RM输出的计算结果$g_{\varphi }^{v-1}$

  最后RM模块的输出$g_{\varphi }^v$进过全局平均池化和全连接层处理得到相关性得分$r_{ij}^v$

实现过程

网络结构

  特征提取网络可以采用ResNet-12，SENet等，相关性计算网络主要是由两个SEBlock模块构成的。

训练策略

  训练分为两个阶段，首先对特征提取网络的参数$\theta$进行训练

其中${\sigma }_i$表示四个EM模块输出特征图方差的均值，$m$表示样本的总数。然后对相关性网络参数$\varphi$进行训练

创新点

• 引入SENet网络结构，作为基础模块用于特征提取与相关性计算
• 对特征提取网络的四个阶段输出分别进行相似性度量，形成一种深度监督的形式
• 通过重参数化的形式对每个特征提取模块的输出进行重构，引入了随即参数实现了数据增强

算法评价

  本文是在RelationNet基础上进行了探索和改进，最重要的变化我认为就是对多个阶段的特征提取网络输出都进行相似性度量，这样就能够从浅层到深层多个层级的特征信息对图像的相似性进行度量，并预测类别。另一方面引入重参数化的技巧，巧妙地起到了一个在语义特征空间中进行数据增强的效果。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。