BASNet: Boundary-Aware Salient Object Detection论文学习

Abstract

深度卷积神经网络在显著目标检测上已有应用，并取得了state of the art的性能。但是之前的绝大多数工作都关注在区域的准确率上，而不是边界的质量上。这篇论文提出了一个预测-优化的框架，BASNet，以及一个新的针对边界感知显著目标检测的混合损失。特别地，该框架由一个密集监督的encoder-decoder网络和一个残差优化模块构成，分别负责显著预测和特征图（saliency map）优化。混合损失将二元交叉熵、Structural SIMilarity、IoU损失结合起来，指导网络去学习输入图像和ground truth之间的变换，以三层级（像素-区块-特征图）的形式。有了这个混合损失，我们所提出的预测-优化框架就可以有效地对显著目标区域进行分割，用清晰的边界来准确地预测其结构。在6个公开的数据集的实验结果表明，在区域和边界评价上，我们的方法超过了state of the art的其它方法，我们的方法在单个GPU上的处理速度能达到25FPS。代码放在https://github.com/NathanUA/BASNet

1. Introduction

人类的视觉系统有一个非常有效的注意力机制，可以从视觉场景中选择最重要的信息。计算机视觉宗旨就是构建一个这样的机制，主要有两个分支：眼睛固定的检测[20]以及显著目标检测[3]。我们的工作主要放在第二个分支上，目的是能够在输入图像上准确地分割出显著物体的像素点。这些结果可以直接应用在图像分割、编辑上，以及视觉跟踪和用户界面优化上。

最近，全卷积神经网络开始用于显著目标检测。尽管和传统方法相比，这些方法取得的成绩很突出，它们预测的特征图在细微的结构和边界上仍然是有缺陷的（图1 c/d）。

显著目标检测要想提高准确率有两个主要的挑战：1. 显著性主要是由整张图像的全局的明暗对比度定义而来，而不是局部或像素点的特征。为了取得准确的结果，已有的显著目标检测方法不得不去理解整张图片的全局含义，以及目标物体的具体结构[6]。为了解决这个问题，我们就需要一个能够聚合多层级特征的网络。2. 绝大多数的显著目标检测方法都使用交叉熵作为训练损失函数。但是，用交叉熵损失训练出来的模型在判别边界像素点的时候，通常置信度都比较低，导致边界模糊。人们也针对不均衡数据集提出了其它的，如IoU损失函数，F-measure 损失和Dice-score损失，但它们都不是为细微结构而特别设计的。

为了解决上述挑战，我们为显著目标检测提出了一个新的边界-感知网络，称作BASNet，取得了非常准确的显著物体分割效果，而且边界非常清晰（图1b）。

为了捕捉全局（粗糙）和局部（细致）的信息，我们提出了一个新的预测-优化网络。它将一个类似于U-Net的深度监督的encoder-decoder网络和一个新的残差优化模块组合起来。Encoder-decoder网络将输入图像转换为一个概率图，而优化模块则通过学习粗糙的特征图和ground truth之间的残差来优化预测的输出（看图2）。和[50,22,6]不同，它们在多个尺度上，对显著性预测或中间的特征图迭代式地使用优化模块，而我们的方法只在显著性预测时，在原始尺度上使用了该模块一次。
为了取得高置信度特征图以及清晰的边界，我们提出了一个混合损失函数，将二元交叉熵损失、Structural SIMilarity和IoU损失结合起来，它们分别在像素点-区块-特征图上，从ground truth信息中学习。我们没有使用显式的边界损失（NLDF+[41], C2S[36]），而是隐式地将准确的边界预测目标注入混合损失函数中，我们认为这可以帮助降低交叉传播图像边界和区域中学到的信息所带来的假错率（spurious error）。
本文的贡献主要如下：

• 一个新的边界-感知的显著目标检测网络：BASNet，由一个深度监督的encoder-decoder和一个残差优化模块构成。
• 一个新的混合损失函数，将二元交叉熵、SSIM、IoU损失结合起来，在三个层级上对显著目标检测的训练过程进行监督：像素级，区块级，特征图级。
• 此方法的详细评价包含了与15个state of the art的方法在6个数据集上的比较。我们的方法在区域评价指标、边界评价指标上都取得了state of the art的成绩。

2. Related Works

传统方法：早期的方法根据一个预先定义的显著性测度来搜索像素点，从而进行显著物体检测，该测度由人工特征计算得来。Borji等人在[3]中提供了详细的介绍。

Patch-wise 深度方法：受CNN在图像分类领域的启发&#x