论文阅读笔记《Conditional networks for few-shot semantic segmentation》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种可以利用稀疏标签实现小样本语义分割任务的算法（co-FCN）。整个网络的结构与上篇文章《One-Shot Learning for Semantic Segmentation》提出的双分支网络非常相似，同样时包含条件分支和分割分支，条件分支用于处理支持集图像，分割分支用于处理查询集图像，最后再将二者融合起来。网络结构如下图所示

  支持集图片是由原图和标签组成的，标签可以分为稠密标签和稀疏标签两种形式，稠密标签就是目标物体的二元掩码图像（目标物体所在位置像素值为1，其他位置像素值为0），稀疏标签则是如图中所示，只给出图中少量像素点的标签值（正值表示属于目标物体，负值表示不属于目标物体）。将原图与标签图输入到VGG-16网络（仅保留卷积层部分）中得到对应的特征图，再将特征图经过全局池化操作得到对应的一维特征向量，并且通过复制和拼接的方式恢复原特征图尺寸（形状和尺寸与VGG-16输出的特征图相同，但是每幅特征图中每个位置上的特征值都是相同的，即为全局平均池化的结果）。另一方面查询集图片经过相同结构的VGG-16网络得到对应的特征图，将其与条件通道输出的特征图级联起来经过一个卷积神经网络后输出对应的二元掩码图。
  文中提到除了上文介绍的融合方式之外，本文还试验了另一种融合方式，即让条件分支输出最后一个分类层的权重参数，这一方式作者并没有详细介绍，我猜测是与《One-Shot Learning for Semantic Segmentation》采用类似的方式，利用全连接层将支持集网图片对应的特征图转化为特征向量，然后以此作为权重$w$和偏置$b$，对查询集输出的特征图做1 * 1的卷积操作，最后通过Sigmoid函数输出预测的二元掩码图。
  正对k-shot情况，本文并没有采用逻辑或的操作，而是将多个样本图片输出的特征图进行取平均的操作，作为条件分支的输出结果，再与分割分支进行结合。

实现过程

网络结构

  条件分支和分割分支均采用VGG-16的卷积层部分。

损失函数

  交叉熵损失函数

创新点

• 本文提出一种能够利用稀疏标签实现小样本语义分割的方法
• 采用两种方式融合条件分支与分割分支的结果

算法评价

  本文是在《One-Shot Learning for Semantic Segmentation》做了一些改进，首先在结合方式上，先将原特征图池化为一个特征值，然后再复制拼接恢复尺寸，再与查询集特征图级联，最后卷积+上采样输出预测结果；其次是在处理多样本的问题上，由多个结果取逻辑或操作，改为了先对多个样本的特征图取平均值，然后再融合的方式。本文的方法在稠密标签的条件下，效果是弱于《One-Shot Learning for Semantic Segmentation》的，但在稀疏标签的情况下，效果要优于前文，甚至在只提供一个正像素和一个负像素的极端条件下仍能实现分割任务。本文可能是我读过的最短的文章，加上参考文献一共四页，核心内容只有几段话，这难道就是大佬的力量吗？

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。