Keywords: Cross-image segmentation
Background:
目前的方法集中在上下文信息的探索上,忽略了不同图像之间的潜在关联。focus on mining contextual information in all kinds of ways within the image, neglecting the potential relation information from other images.
无监督对比学习因为利用了memory bank可以获得更好的特征表征。但是无监督学习侧重于分类,而语义分割比起分类更侧重语义信息。
Method:
关于对比学习:memory bank、InfoNCE loss
Region-aware Contrastive Learning:
DeepLabV3 作为 the basic segmentation network
还有Resnet + ASPP作为特征提取网络
Region Center:
第i类的区域中心可以定义为一张图片中,属于i类的所有像素的特征平均值
F为特征提取网络的输出,L为bias的分割网络输出
因为分割网络会有错误输出,会误导区域中心的学习,因此提出 dynamic sampling method。
引入ground truth的引导,剔除难分辨的阴性样本点,寻回难分辨的阳性样本点。 即只要正确的阳性点➕未能分割正确的阳性点。同时为了更关注难的阳性点,每个像素点特征的权重应该不一样。因此提出predicted confidence map去分配权重给简单的阳性采样点。
F为C X H X W, L 为 N X H X W, G为 H X W。 R为N*C
D张图片N个类别,则设置N个memory banks, 每个大小为D*C,其中C为嵌入的特征维度
RegionContrast:
原本的infoNCE:
相当于正常分割的bce loss训练之外,引入对比学习中的memory banks,积累所有训练数据的region center,对比训练建立不同图片之间的相关性。