Semantic segmentation with reverse attention阅读笔记

BMVC 2017
Qin Huang, Chunyang Xia, Chihao Wu, Siyang Li, Ye Wang, Yuhang Song, C.-C. Jay Kuo
论文地址

一、简介

提出了一种反向关注网络（RAN），该网络捕获与目标类无关的内容。

RAN使用两个单独的分支来学习特征并生成分别与目标类相关联的预测。为了进一步突出从反向学习的知识，我们设计了反向关注结构，它产生每类掩码，以放大困惑区域中的反向响应。

此前没有专门训练网络以学习类之间的差异，模型对两个类都有较高的响应。对象与背景的复杂混合，网络对目标的响应较弱。

二、方法

2.1 动机

我们使用猫狗的图片来进行解释。如Fig2所示，狗在圆圈区域中的下半身被错误的分类为猫的一部分。为了解释这种现象，我们分别显示了狗和猫的热图（即相应的滤波器响应）。事实证明，两个分类器在圆圈区域都产生了高响应，这些令人困惑的区域可以轻易出现分类错误。

对最后一层卷积层的滤波器进行归一化，显示高于阈值的滤波器，对于2048个滤波器只有约20个滤波器对狗和猫具有高响应。其中，红色表示对狗和猫具有高响应，则紫色表示对狗具有高响应，深棕色表示对猫具有高响应。显然，对多个对象具有高响应的滤波器再识别底层对象类方面是不太有用的。

FCN未对困惑类之间的区别进行学习，如果我们可以让网络学习到这令人困惑的区域不是猫的一部分，这可以获得更高性能的网络。这种策略叫做反向关注学习，可能有助于更好的辨别混淆类，并更好的理解图像中的背景上下文信息。

3.2 RAN

为了提高FCN的性能，我们提出了反向关注网络（RAN）。

Reverse Branch：

反向分支用来学习反向对象类，是对象关注的反向ground truth。得到的是背景和其他类。

Neg块用于反转所有类的标签，因为反向学习会使类的标签也反向。

Reverse Attention Branch：

将原始和反向分支的结果进行融合的一个最简单方法是直接从原始预测中减去反向预测。实际上就是发现原始预测与反向预测之间的差异。例如狗的下半部分给了狗和猫的强烈响应，同一区域将未猫提供强烈的负响应，而对狗的响应为零，然后这两个分支组合将减少对猫的响应，同时保留对狗的响应。

然后上述这种方法缺少良好的表现，因此我们提出了反向关注结构，以进一步突出最初忽略的区域，包括混淆和背景。

反向关注分支将抑制高响应的区域。

三、实验