Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation 阅读笔记
论文地址: Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
论文代码: https://github.com/cvlab-yonsei/BANA
摘要
- 提出一种新的池化方法——背景感知池(BAP)
- 作用:用来区分对象边界框内的前景和背景区域。(BEC:背景区域在图像中的感知部分是一致的)
- 更进一步的作用:更好地训练卷积神经网络(CNN)进行语义分割。
- 特点:该方法更侧重于使用注意图聚合边界框内的前景特征。
- 因此需要提取高质量的伪分割标签来训练CNN进行语义分割。
- 存在问题:标签仍然包含噪声,尤其是在对象边界处。
- 解决方法:引入噪声感知损耗(NAL),使网络不易受到错误标签的影响。
- 因此需要提取高质量的伪分割标签来训练CNN进行语义分割。
引言
- Others:
- 常利用类激活图(CAMs),从CNN获得,用于使用全局平均池(GAP)进行图像分类,以定位对象。
- 特点:CAM倾向于突出显示有区别的部分,这些方法或多或少借助于现成的显著性检测器
- But:这需要为显著对象添加额外的像素级真实框注释。
- 利用对象边界框
- 特点:与像素级标签相比,它们易于注释,并提供丰富的语义来定位对象。
- But:对象边界框包含前景和背景的混合,并且不指定精致的对象边界。
- 常利用类激活图(CAMs),从CNN获得,用于使用全局平均池(GAP)进行图像分类,以定位对象。
- 本文使用边界框注释进行弱监督语义分割:
- 需解决的问题:
如何从对象边界框(图1)生成高质量但可能有噪声的像素级标签(即真实框)?
如何训练CNN进行语义分割,并使用嘈杂的分割标签?
- 需解决的问题:
- 受使用图像级标签的方法[1,22,32,55,56]的启发:
- 如何从对象边界框(图1)生成高质量但可能有噪声的像素级标签(即真实框)?
- 利用CNN进行图像分类,而不是利用现成的分割方法(例如[44,48])
- 提出一种使用注意图的背景感知池(BAP)的方法(能够区分边界框内的前景和背景)。
即,聚合前景中的特征进行图像分类,同时丢弃背景中的特征,从而产生更精确的CAM,而不是像GAP中那样主要突出最具辨别力的部分。
具体步骤:- 检索边界框内的背景区域 (背景区域在图像中的感知部分是一致的,为单个图像的背景区域自适应地提供了注意图)
- 利用注意力图和CAM以及原型特征生成伪真实框。
- 如何使用嘈杂的分割标签训练CNN进行语义分割?
- 引入了噪声感知损失(NAL)来训练CNN进行语义分割,从而使网络不易受到错误标签的影响。
具体步骤:- 利用一个置信图,使用CNN特征之间的距离进行预测
- 使用分类器权重进行语义分割,自适应地计算交叉熵损失
- 引入了噪声感知损失(NAL)来训练CNN进行语义分割,从而使网络不易受到错误标签的影响。
- 如何从对象边界框(图1)生成高质量但可能有噪声的像素级标签(即真实框)?
- 本文贡献:
- 提出新的池化方法——背景感知池(BAP)
- 提出噪声感知损耗(NAL),利用CNN特征之间的距离进行预测,并利用分类器权重进行语义分割,从而减少错误标签的影响。
本文方法
基于BAP的图像分类
伪标签生成