论文笔记：ICCV2021 Region-aware Contrastive Learning for Semantic Segmentation

Keywords: Cross-image segmentation

Background：

目前的方法集中在上下文信息的探索上，忽略了不同图像之间的潜在关联。focus on mining contextual information in all kinds of ways within the image, neglecting the potential relation information from other images.

无监督对比学习因为利用了memory bank可以获得更好的特征表征。但是无监督学习侧重于分类，而语义分割比起分类更侧重语义信息。

Method：

关于对比学习：memory bank、InfoNCE loss

Region-aware Contrastive Learning：

DeepLabV3 作为 the basic segmentation network

还有Resnet + ASPP作为特征提取网络

 Region Center：

第i类的区域中心可以定义为一张图片中，属于i类的所有像素的特征平均值

F为特征提取网络的输出，L为bias的分割网络输出

因为分割网络会有错误输出，会误导区域中心的学习，因此提出 dynamic sampling method。 

引入ground truth的引导，剔除难分辨的阴性样本点，寻回难分辨的阳性样本点。 即只要正确的阳性点➕未能分割正确的阳性点。同时为了更关注难的阳性点，每个像素点特征的权重应该不一样。因此提出predicted confidence map去分配权重给简单的阳性采样点。

F为C X H X W, L 为 N X H X W, G为 H X W。 R为N*C

D张图片N个类别，则设置N个memory banks, 每个大小为D*C，其中C为嵌入的特征维度

  

RegionContrast：

原本的infoNCE：

 

相当于正常分割的bce loss训练之外，引入对比学习中的memory banks，积累所有训练数据的region center，对比训练建立不同图片之间的相关性。