[小样本图像分割]CANet: ClassAgnostic Segmentation Networks with Iterative Refinement and Attentive....

CANet：一种具有迭代优化和注意力机制的类未知的Few-Shot分割 （CVPR2019）

论文地址
开源代码

摘要

CANet，一种类未知的分割网络，它可以在只有少量标注图像可用的新类上执行Few-Shot分割。该网络由两个分支密集比较模块和一个迭代优化模块组成，该模块对支持图像和查询图像进行多层次特征比较，并对预测结果进行迭代优化。此外，我们还引入了一种注意机制，在K-Shot下，有效地融合来自多个支持样本的信息。

存在的问题及解决方案

CANet包含一个双分支密集比较模块，它们共用同一个特征提取器来提取支持图像和查询图像的特征。密集比较模块灵感来自于图像分类任务中的度量学习，它们主要使用距离函数来评估图像之间的相似度。不同于图像分类，图像分割需要对数据进行结构表示型的预测。直接将度量学习用在密集预测问题上显然不太合适，一个简单的方法是对所有像素进行比较，但这样计算成本巨大。实际上，对于图像分割而言，我们的目标是从支持图像中获得一个全局表示来进行比较，那么可以通过全局平均池化（global average pooling）来实现。这里，为了只关注所分配的类别，我们在前景区域使用全局平均池化来过滤掉无关信息。然后将全局特征与查询分支中的每个位置进行比较，这可以看作是度量学习方法的密集形式。

根据一些关于特征可视化的文献可以发现，较底层的特征与底层线索相关，比如边缘和颜色，而更高层的特征则与对象类别相关。因此本文主要关注的是哪些可能由未知类所共享的对象部分的中层特征。

由于即便是同一个类别的对象，也会存在外观差异，它们可能只有一部分相似的特征。密集的特征比较不足以指导整个目标区域的分割。尽管如此，这还是提供了一个关于物体位置的重要线索。本文考虑通过密集比较结果作为先验，逐步将目标与背景分开。本文提出了一个迭代优化模块(IOM)，学习迭代改进预测结果。以循环形式执行细化，将密集比较结果和预测掩码发送到一个IOM进行优化，并将输出反复发送到下一个IOM。经过几次细化迭代，我们的密集比较模块能够生成细粒度的分割地图。在每个IOM内部，我们采用残余连接，有效地将预测掩码合并到最后的迭代步骤。

过去的K-Shot分割方法主要使用不可学习的融合方法来融合单独的1-shot结果，例如使用平均1-shot预测或是中间特征的方法。本文采用可学习的注意力机制来有效地融合来自多个支持样本的信息。

方法

密集比较模块（Dense Comparison Module）

本文开发了一种双分支密集比较模块，将查询图像中的每个位置与支持实例进行密集比较。主要由两个子模块组成：用于提取表示的特征提取器和一个用于执行特征比较的比较模块。

特征提取器旨在从CNNs中获取不同层次的表示，本文主要使用的是ResNet50作为特征提取器的backbone

支持图像中可能存在多个分类对象和杂乱的背景，但我们通常只希望获得一个表示目标分类的嵌入表达来进行比较。因而在这里，我们在前景区域上使用全局平均池化来挤压原始特征映射来获得一个特征向量，这样可以有效过滤掉不相关的区域。从支持集获得全局特征向量后，我们将该向量与查询分支生成的特征图中的所有空间位置连接起来。该操作的目的是将查询分支中的所有空间位置与支持分支中的全局特征向量进行比较。

为了有效地实现，我们首先将二进制支持掩码向下采样到特征映射的相同空间大小，然后对特征映射应用元素乘法。因此，属于背景区域的特征变为零。然后我们采用全局和池化，将结果向量除以前景区域得到平均特征向量。我们将向量上采样到查询特征的相同空间大小，并将它们连接起来进行密集比较。

迭代优化模块（Iterative Optimization Module）

由于同一类别内存在外观差异，密集比较只能匹配物体的一部分，可能不足以准确分割图像中的整个物体。我们观察到，初始预测是关于物体大致位置的一个重要线索。我们提出了一个迭代优化模块，对预测结果进行迭代优化。

模块的输入是密集比较模块生成的特征映射和上次迭代预测的掩码。将特征映射与预测掩码直接连接作为额外通道会导致特征分布不匹配，因为第一个前向通道没有预测掩码。因而这里采用了一种残差形式：
$$M_t=x+F(x,y_{t-1})$$
$x$是DCM的输出，$y_{t-1}$是上次迭代的预测掩码。除此之外，本文还采用了ASPP来捕捉多尺度信息。在训练时，为了避免迭代优化模块对预测掩码过拟合，我们交替使用上一次迭代的预测掩码和空掩码作为输入。

用于K-Shot的注意力机制

注意力分支结果作为权重$\lambda$，然后，所有支持实例的权重通过softmax函数进行归一化

最终的输出是不同支持样本生成的特征的加权和。

实验结果

结论

提出了CANet，一种新的具有Few-Shot学习的类未知的分割网络。密集比较模块利用CNN中的多层特征进行密集特征比较，迭代优化模块学习迭代细化预测结果。我们解决K-Shot问题的注意力机制比非学习方法更有效。综合实验证明了该框架的有效性，其性能明显优于之前的所有工作。