ContrastMask: Contrastive Learning to Segment Every Thing

https://github.com/huiserwang/ContrastMask

https://arxiv.org/abs/2203.09775

不完全监督的实例分割算法目的在于通过在有框标注与像素级掩码标注的数据集A和只有框标注的数据集B（两个数据集类别没有重合）上进行混合训练，提升在数据集B上的实例分割效果。

该问题的核心点在于如何构建一个与类别无关的分割网络。之前的方法在提升分割能力时，仅使用了数据集A的训练数据，没有更好的探索数据集B对于网络学习的作用。我们提出了一个统一的像素级对比学习结构来解决这个问题。我们使用数据集A的标注掩码与数据集B的CAM图作为对比学习的先验，从而在实例前景与背景的像素之间采样query与keys，进而拉远前景-背景之间的距离，拉近前景-前景或者背景-背景的距离，使得数据集B中图像的特征更具辨识性，降低分割难度。在常用的COCO验证集中的结果证明了我们方法的有效性。

设计的框架

1、CLH的设计

2、前背景的设计

 

3、mask head