Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation 阅读笔记

论文地址： Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
论文代码： https://github.com/cvlab-yonsei/BANA

摘要

• 提出一种新的池化方法——背景感知池（BAP）
  • 作用：用来区分对象边界框内的前景和背景区域。(BEC:背景区域在图像中的感知部分是一致的)
• 更进一步的作用：更好地训练卷积神经网络（CNN）进行语义分割。
• 特点：该方法更侧重于使用注意图聚合边界框内的前景特征。
  • 因此需要提取高质量的伪分割标签来训练CNN进行语义分割。
    • 存在问题：标签仍然包含噪声，尤其是在对象边界处。
    • 解决方法：引入噪声感知损耗（NAL）,使网络不易受到错误标签的影响。

引言

• Others:
  • 常利用类激活图（CAMs），从CNN获得，用于使用全局平均池（GAP）进行图像分类，以定位对象。
    • 特点：CAM倾向于突出显示有区别的部分，这些方法或多或少借助于现成的显著性检测器
    • But：这需要为显著对象添加额外的像素级真实框注释。
  • 利用对象边界框
    • 特点：与像素级标签相比，它们易于注释，并提供丰富的语义来定位对象。
    • But：对象边界框包含前景和背景的混合，并且不指定精致的对象边界。
      
• 本文使用边界框注释进行弱监督语义分割：
  • 需解决的问题：
    如何从对象边界框（图1）生成高质量但可能有噪声的像素级标签（即真实框）？
    如何训练CNN进行语义分割，并使用嘈杂的分割标签？
• 受使用图像级标签的方法[1,22,32,55,56]的启发：
  • 如何从对象边界框（图1）生成高质量但可能有噪声的像素级标签（即真实框）？
    • 利用CNN进行图像分类，而不是利用现成的分割方法（例如[44,48]）
    • 提出一种使用注意图的背景感知池（BAP）的方法（能够区分边界框内的前景和背景）。
      即，聚合前景中的特征进行图像分类，同时丢弃背景中的特征，从而产生更精确的CAM，而不是像GAP中那样主要突出最具辨别力的部分。
      具体步骤：
      1. 检索边界框内的背景区域 （背景区域在图像中的感知部分是一致的，为单个图像的背景区域自适应地提供了注意图）
      2. 利用注意力图和CAM以及原型特征生成伪真实框。
  • 如何使用嘈杂的分割标签训练CNN进行语义分割？
    • 引入了噪声感知损失（NAL）来训练CNN进行语义分割，从而使网络不易受到错误标签的影响。
      具体步骤：
      1. 利用一个置信图，使用CNN特征之间的距离进行预测
      2. 使用分类器权重进行语义分割，自适应地计算交叉熵损失
• 本文贡献：
  1. 提出新的池化方法——背景感知池（BAP）
  2. 提出噪声感知损耗（NAL），利用CNN特征之间的距离进行预测，并利用分类器权重进行语义分割，从而减少错误标签的影响。

本文方法

基于BAP的图像分类

• 

  
  
  

伪标签生成

带噪声标签的语义分割