《Selectivity or Invariance: Boundary-aware Salient Object Detection》笔记

Introduction

该论文利用显著性特征图（saliency feature map）来进行目标检测，得到物体的位置掩膜图(mask)，属于显著性目标检测模型（salient object detection, SOD）。

SOD模型在处理物体内部和边界时面临相反的需求。内部的特征应该对强烈的外貌变化具有不变性（invariant）以便突出物体整体。然而边界的特征应该对外貌的轻微变化具有选择性（selective）以便区分物体和背景。

为了解决SOD模型的选择性-不变性（selectivity-invariance）的困境，论文的网络结构分成3个数据流。其中一个数据流是边界位置流（boundary localization stream），用于检测物体的边界，会输出一个边界图（boundary map）。另一个数据流是内部感知流(interior perception stream)，用于感知物体的内部区域，会输出一个特征图。这两个数据流的输出图合在一起组成物体的掩膜，但是物体的内部和边界的过渡区域容易分类错误，因此还有第3个数据流。第3个数据流是过渡补偿流，是对过渡区域的分类结果的补偿，用来改善最终的输出结果。这3个数据流的输出结果结合在一起能够得到很好的物体掩膜，如下图所示。

Method

简称论文的方法为BANet，该网络的结构如下图所示，首先是特征提取，然后把不同层的特征输入到3个数据流中，得到3种特征图，最后这3种特征图组合在一起，得到图像中显著性物体的掩膜。

以ResNet网络主干为例，主干有5个层次，每个层次的子网络定义为 θ i ( π i ) , i ∈ { 1 , ⋯   , 5 } \theta_i(\pi_i),i\in \{1,\cdots,5\} θi​(πi​),i∈{ 1,⋯,5}，其中${\pi }_i$是${\theta }_i$的参数。为了不让图片的尺寸下降的太快，${\theta }_4$和${\theta }_5$不会进行下采样，所有卷积层步长变为1，同时分别使用2和4的空洞卷积。

Boundary Localization Stream

边界位置流聚合多层特征，通过上采样和拼接来组合这些特征，具体结构可以看上面的结构图。上采样操作把feature map从原来的$(H/8,W/8)$变成$(H,W)$。这里使用5种层次的特征，包括低级特征和高级特征，是因为边界检测既需要物体的语义信息，也需要图像的边缘信息。边界位置流的子网络使用${\varphi }_B({\pi }_B)$表示。边界位置流有相应的边界损失函数：