《Uncertainty-aware Joint Salient Object and Camouflaged Object Detection》—CVPR2021—SOD+COD

文章：https://arxiv.org/abs/2104.02628

代码：https://github.com/JingZhang617/Joint_COD_SOD

摘要：

本文做的是显著性目标检测和伪装目标检测的联合学习任务。核心是利用这两个任务之间的矛盾信息共同提升两任务的性能。1、本文将COD中的强的正样本作为SOD中的弱的正样本，以此提升SOD模型的鲁棒性。2、介绍了一个相似性度量模型(“similarity measure” module),显式的为这两个任务之间矛盾的属性进行建模。3、考虑到这两个任务数据集标注的不确定性，提出一个对抗学习的网络，实现了高阶相似度度量和网络置信度估计。

介绍：

1、显著性和伪装性对于目标来说是相互矛盾的范畴，但是其过程是渐进的，如上图中间的北极熊，是显著目标，也是伪装目标。

2、现有的SOD工作主要几种在构建网络结构和设计损失函数两方面。但是有效的训练数据集对最终实验结果来说是很重要的。提升数据集效果一个经典的方法是数据增广，如旋转、剪切等，但是这些数据增广方法并非是针对显著性检测这一特定任务设计的。对于SOD任务，显著性物体是易于检测到或者是高对比度的，因此本文将低对比度的样本加入数据集（体现出了对特定任务的设计）。所以将COD与SOD联合训练，这样便可以同时利用COD中伪装目标的低对比度数据，将COD中的强的正样本作为SOD中的弱的正样本（COD对SOD的帮助），实现数据增广。

3、本文使用相似性度量模型(“similarity measure” module)将这两个任务进行整合，基本假设是同一幅图像在两种任务中被激活的区域应该是不同的，从而导致潜在特征彼此分离。

4、引入了第三个数据集:PASCAL VOC 2007,在该框架中作为连接建模数据集，作用是实现相似性度量，并迫使两个任务聚焦于图像的不同区域？？？为什么？？？

5、显著性目标容易提取出局部上下文，但是伪装目标难以提取清晰的边缘这种局部上下文。通过联合两个任务，在显著性分支上学到的精确的局部上下文信息可以帮助伪装分支进行精确的检测（SOD对COD的帮助）。

6、两个任务在数据集标注中的不确定性：在SOD中，显著性的主观性导致标注的模糊（由于主观性，同一数据集中的不同图像对于显著性的标准可能是不同的）；在COD任务中，由于伪装物体与背景纹理的相似性，边缘难以完全标注。因此引入对抗学习，对该两个任务，均显式的对网络预测结果的置信度进行建模，并估计模型的不确定性。

提出的方法：

该框架大体分为三部分：1、作为数据增广的数据交互；2、使用相似性度量模型(“similarity measure” module)，对两个任务的矛盾属性进行建模；3、提出不确定性感知的对抗训练网络，在测试时产生可预测的结果，在训练中产生更高阶的相似性度量。

一、数据增广

文章认为：COD中的强的正样本作为SOD中的弱的正样本。因此将SOD数据集中添加一部分COD的强的正样本数据可以提升SOD的鲁棒性。做法：用训练好的SOD模型测试COD的数据集，选出MAE最小的数据出来，将这些COD中的强的正样本作为SOD中弱的正样本。本文选出四百张MAE最小的COD数据集添加进SOD数据集，同时随意删掉400张SOD数据集以保持数据数量的不变(便于对比)。

二、矛盾建模（对应图中的Feature Encoder和Similarity measure 两部分）

首先通过Feature Encoder提取显著性特征和伪装特征，然后使用相似性度量（Similarity measure）通过连接建模数据集（connection modeling dataset,即引入的第三个数据集PASCAL VOC 2007）实现两任务关系的建模。

2.1Feature Encoder
SOD路和COD路都是ResNet50为骨干网络，分别输出为。

2.2相似性度量

相似性度量模块Sθ通过第三个数据集作为输入来建立SOD和COD的连接。

过程：给定训练好的显著性编码器和伪装编码器，就能得到两个编码器的输出和。分别将这两个编码器的输出结果按通道进行concat,并送入同一个全连接层来获得潜在的显著性特征和潜在的伪装特征。然后，选择余弦相似度来度量显著性特征和伪装特征在潜在空间的不同，并定义潜在空间损失如下：

这样的目的是什么？论文中没有说明。猜测：通过该loss，会让网络能好的学习到显著性物体与伪装物体在特征上的差异。

三、不确定性感知的对抗学习：

针对不确定性，提出不确定性感知的对抗学习，在我们的联合学习框架中对特定任务的不确定性进行建模。

方法：Prediction decode模块产生与任务相关的预测，Confidence estimation模块估计每个预测的不确定性，整个对抗学习的框架有利于进行鲁棒的训练。

Prediction decoder（两任务参数共享）：
利用residual channel attention(Re)、dual attention(Da)、holistic attention module(Ha)三种注意力来更好的集成Encoder端生成的特征，主要是对深层特征进行了更好的组合。

文章未提供Decoder结构图，自己画了一个，可能不太准。。。

Confidence Estimation
鉴别器是一个全卷积网络，网络结构如下：

当输入是生成的显著性图像或伪装图像时，鉴别器输出全零矩阵；当输入是二者对应的GT时，鉴别器输出全1的矩阵。