one-shot 语义分割算法

文章出处 Shaban, Amirreza, et al. “One-shot learning for semantic segmentation.” arXiv preprint arXiv:1709.03410 (2017).

One-Shot Semantic Segmentation 问题定义

当 测试集中出现新类（不包括在训练集中），同时在测试集中仅仅 给定该新类的一张图片和对应语义分割结果 (Support Set)，如何对其他测试图片 (Query Image) 进行语义分割？

算法框架 —— 如何使用 one-shot 信息

Two-Branch 框架

思路是用两个分支：一个分支接受 one-shot 信息并且预测动态参数，另一个分支在已经学到的既有分割知识的同时融合 one-shot 的动态参数。关键在于理解 先验知识融入既有分割网络的方式！

• Conditioning Branch。输入 image-annotation pair 作为 supporting set 的 one-shot 信息，输出是 动态变化的参数。其实这边可以理解成广义上的 fine-tuning 操作：最朴素的解决 one-shot learning 的方法就是将预训练的网络在 one-shot 信息上进行 fine-tuning 调整某些网络参数。所以这里 Conditional Branch 是根据不同的 one-shot 信息得到的不同的参数，这些参数后面也整合在 Segmentation Branch 上类似于广义的参数调整 fine-tuning，进而在分割网络中加入特定的来源于 one-shot 信息的先验知识。
• Segmentation Branch。接受 Conditioning Branch 输出的动态参数信息，进而对当前新的待分割图像进行分割。其中最后得到的 conv-fc7 可以理解成 embedding 空间，因此这里也可以考虑采用 metric learning 的方式实现 one-shot learning。

讨论

Conditioning Branch 是这个工作的核心部分，通过这样动态改变 Segmentation Branch 中的某些参数从而达到 Fine-Tuning 分割网络的目的。这种改变是引入先验信息的一种方式，类似的工作也有 conditional convolution 操作等。