[小样本图像分割]CRNet: Cross-Reference Networks for Few-Shot Segmentation

用于Few-Shot分割的交叉参考网络（CVPR2020）
论文地址

摘要

本文提出了一种用于Few-Shot分割的交叉参考网络。不同于以往只预测查询图像中的掩码，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉参考机制，我们的网络可以更好地找到两幅图像中协同出现的对象，从而帮助Few-Shot分割。我们还开发了一个掩码细化模块来对前景区域的预测进行循环细化。对于K-Shot学习，我们建议对网络的部分进行微调，以利用多个带标记的支持图像。

存在的问题及解决方案

过往的大多数工作将Few-Shot分割任务定义为一种引导分割任务。引导信息是从支持集中提取的用于查询图像前景预测的信息，通常采用不对称的分支网络结构来实现。

在我们的工作中，我们认为查询集和支持集的角色可以在Few-Shot分割模型中进行切换。具体来说，支持图像可以指导查询集的预测，反之，查询图像也可以帮助支持集进行预测。

我们网络设计的关键部分是交叉参考模块，它通过比较两幅图像共同出现的特征来生成增强的特征表示。增强特征用于两幅图像的下游前景预测，同时，交叉参照模块还对两幅图像中同时出现的物体进行预测。此子任务在训练阶段提供一个辅助损失，以促进交叉参考模块的训练。

由于物体外观存在很大的差异性，挖掘图像中的前景区域是一个多步骤的过程。我们开发了一个有效的掩码改进模块来迭代地改进我们的预测。在初始预测中，网络倾向于定位高置信度的区域。然后，将置信图以概率图的形式保存在模块的缓存中，用于以后的预测。每次进行新的预测时，我们都会更新缓存。在运行mask细化模块几次后，我们的模型可以更好地预测前景区域。

对于K-Shot分割，以往的方法同查使用1-Shot模型分别对每个支持图像进行预测，并融合其特征或预测的掩码。在本论文中，我们建议使用标注的支持样本来微调我们的网络部分。由于我们的网络可以同时对两个图像进行预测，所以我们最多可以使用$k^2$个图像来微调网络。基于微调方法的一个优点是，它可以从支持图像数量的增加中受益，从而持续提高精度。相比之下，当提供更多的支持图像时，基于融合的方法更加容易饱和。

方法

对于每个查询----支持对，我们使用Siamese编码器将图像对编码成深度特征，然后使用交叉参考模块挖掘出共同出现的对象特征。为了充分利用标注的掩码，条件模块将合并支持集标注对前景掩码预测的分类信息，掩码优化模块会循环缓存置信区域映射，以实现最终的前景预测。

Siamese编码器（Siamese encoder）

Siamese编码器是一对参数共享的卷积神经网络，它将查询图像和支持图像编码为特征映射。了获得代表性的特征嵌入，我们使用了跳跃连接来利用多层特征。底层的特征通常与底层线索相关（纹理，颜色），高层特征通常与分割线索（类别定位）相关，我们将底层特征与高层特征结合，传递给后续的模块。

交叉参考模块（Cross-Reference Module）

交叉参考模块的设计目的是挖掘两幅图像的共现特征，并生成更新的表示。针对Siamese编码器生成的两幅输入特征图，首先采用全局平均池化的方法获取两幅图像的全局统计信息。然后，将这两个特征向量分别发送给一对两层全连接层，全连接层后面附加的Sigmoid函数可以将向量值转换为通道的重要性。之后两个分支中的向量通过元素乘法进行融合。直观上来说，只有这两个分支中的共同特征在融合的重要向量中具有较高的激活度。最后，利用融合后的向量对输入特征映射进行加权，生成，生成增强的特征表示。与原始特征相比，增强特征更多地关注共同表示部分。

条件模块（Condition Module）

为了充分支持集标注，我们设计了一个条件模块，能够有效地将类别信息整合到前景掩码预测中，条件模块接受交叉参考模块生成的增强特征表示和一个类别相关向量作为输入。类别相关向量时通过在类别区域（support mask和支持特征合并）上应用全局平均池化来实现目标类别的融合特征嵌入。

由于Few-Shot分割的目标只是找到指定目标类别的前景掩码，因此只需将任务相关的向量作为分割目标类别的条件。在条件模块中，将分类相关向量与增强特征映射融合，方法是将分类相关向量双线性上采样到特征映射的相同空间大小并将其连接起来。

主要结构如下：

支持分支和查询分支中的条件模块具有相同的结构并共享所有参数。

掩码优化模块（Mask Refinement Module）

直接预测对象掩码通常效果不佳，通常的做法是先定位初始区域，然后再对结果进行细化。在此基础上，我们设计了掩码细化模块，逐步细化预测的掩码。我们的动机是，单个前馈预测中的概率图可以反映模型预测中的置信区域在哪里。根据置信区域和图像特征，逐步优化掩模，找到整个目标区域。

如上图所示，我们的掩码细化模块有两个输入。一个是缓存中保存的置信度映射，另一个输入是条件模块和交叉引用模块输出的连接。对于初始映射，用零掩码初始化缓存，模块仅仅根据输入特征映射进行预测。当模块做出新的预测时，就会用生成的概率映射更新模块缓存。我们多次运行这个模块来生成最终的优化掩码

实验结果

结论

在本文中，我们提出了一种新的交叉参考网络来进行少镜头分割。不同于以往单方用支持图像对查询图像进行分割的工作，我们的双头设计同时对查询图像和支持图像进行预测，以帮助网络更好地定位目标类别。我们开发了一个带有缓存机制的掩码细化模块，可以有效地提高预测性能。在k-shot设置中，我们的基于微调的方法可以利用更多的注释数据，显著提高性能。