2022年显著性检测部分论文及代码汇总

CVPR

Multi-Source Uncertainty Mining for Deep Unsupervised Saliency Detection

• Abstract
  基于深度学习的SOD严重依赖于像素化标记的大规模训练数据。本文提出一种多源不确定性挖掘网络 （UMNet），以促进对由传统手工制作的 SOD 方法产生的多个噪声标签的无监督深度学习。该网络由多个Merge-and-Split （MS）模块组成，递归分析多个噪声标签之间的共性和差异，并为每个标签推断像素级的不确定性图。同时，本文使用 Gibbs 分布对噪声标签进行建模，并提出加权不确定性损失来与 SOD 网络联合训练UMNet。因此，UMNet可以自适应地为 SOD 网络学习选择可靠的标签。
  code

---

ECCV

Salient Object Detection for Point Clouds

• Abstract
  本文研究未探测任务——点云显著目标检测。本文发现点云的注意力转移可能会引起显著性冲突，即一个物体矛盾地属于显著性和非显著性类别。为避免这个问题，本文提出一种突出对象的视图依赖视角，合理地反映了点云场景中最引人注目的对象。本文引入了点云SOD提出的第一个数据集（PCSOD），且在验证各种猜想时具有出色的泛化性和广泛的适用性。为了证明可行性，本文进一步提供了一个基线模型和五个代表性模型的基准测试，以进行全面的比较。该模型能有效地分析不规则点和无序点以检测显著目标。
  code

MVSalNet:Multi-View Augmentation for RGB-D Salient Object Detection

• Abstract
  RGB-D SOD在理解场景三维几何结构方面具有显著优势。然而，深度图所传达的几何信息在现有的RGB-D SOD方法中大多未得到充分利用。本文提出了一个全新的框架来解决这个问题。本文使用深度图渲染的多个不同视图来增强输入图像，并将传统的单视图RGB-D SOD转换为多视图设置。由于不同的视图捕获了互补的3D场景上下文，通过多视图聚合可以显著提高精度。本文进一步设计了一个多视图显著性检测网络（MVSalNet），该网络首先对每个视图分别进行显著性预测，然后通过融合模型将多视图输出融合在一起，得到最终的显著性预测。此外，本文设计了动态滤波模块，使特征提取更加有效、灵活。
  code

SPSN: Superpixel Prototype Sampling Network for RGB-D Salient Object Detection

• Abstract
  为了解决RGB图像-深度图和低质量深度图之间存在较大的域差距，本文提出一种超像素原型采样网络架构（SPSN），以便该网络仅对对应于显著物体的原型进行采样。该模型将输入RGB图像和深度图拆分为组件超像素，以生成组件原型。此外，本文提出了一个依赖选择模块，以识别每个RGB和深度特征图的质量，并根据其可靠性按比例自适应权重。该方法使模型对RGB图像与深度图之间的不一致具有鲁棒性，并消除了非显著物体的影响。
  code

---

CVPRW

Pyramidal Attention for Saliency Detection

• Abstract
  RGB-D模型处理RGB和深度输入，但测试期间深度数据的可用性可能会阻碍模型的实际适用性。本文仅利用RGB图像，利用RGB估计深度，并利用中间深度特征。本文使用金字塔注意结构来提取多级CNN-transformer特征来处理初始阶段表示，并进一步增强后续表示。在每个阶段，骨干transformer模型产生全局接受域并并行计算，以获得细粒度的全局前置词，由剩余卷积注意力Decoder细化，以实现最佳显著性预测。
  code

Unsupervised Salient Object Detection with Spectral Cluster Voting

• Abstract
  本文旨在通过利用自监督特征的光谱聚类来解决无监督SOD任务。本文给定光谱聚类在图像特征上的多种应用的mask proposals，通过利用框架和显著性的对象先验，提出了一种简单有效的赢家通吃的投票策略（winner-takes-all voting mechanism）来选择显著masks。除此之外，本文使用选定的对象分割作为伪ground-truth mask，训练一个显著性对象检测器（SELFMASK）。
  code

---

PR

BiconNet: An Edge-preserved Connectivity-based Approach for Salient Object Detection

• Abstract
  目前的SOD模型的一个局限性是没有充分利用像素间信息，这就会导致近边缘区域分割不完美，空间相干性低。为了解决这一限制，本文提出了一种双边连接网络（BiconNet），使用连接掩码和显著性掩码作为标签，用于有效地建模像素间关系和对象显著性。此外，本文还提出了一种双边投票模块来增强输出连通性图，以及一种边缘特征增强方法，有效地利用了边缘特定特征。
  code

---

AAAI

LeNo: Adversarial Robust Salient Object DetectionNetworks with Learnable Noise

• Abstract
  很少有SOD模型能够抵御对抗性攻击，且这些攻击对于人类的视觉注意力是无法感知的。之前的相关工作中，针对对抗性攻击的鲁棒性显著性目标检测（ROSA）对预先分割的超级像素进行洗牌，然后利用密集连接优化粗显著图条件随机场（CRF）。本文提出了一个轻量级的模型LeNo对抗SOD模型的对抗性攻击。LeNo保留了SOD模型在对抗性和清洁图像上的准确性，以及推理速度，包括一个简单的浅层噪声和噪声估计，分别嵌入到任意SOD网络的Encoder和Decoder。受人类视觉注意力机制的中心先验启发，本文利用十字形高斯分布初始化浅层噪声，以更好地防御对抗性攻击；本文所提出的噪声估计只修改Decoder的一个通道，并非增加额外的网络组件进行后处理。
  code

Unsupervised Domain Adaptive Salient Object Detection through Uncertainty-Aware Pseudo-Label Learning

• Abstract
  深度学习提升了SOD的性能，但却牺牲了更大规模的逐像素标注的标签。为了减轻劳动密集型标注的负担，人们提出了深度无监督的SOD方法，以利用手工制作的显著性方法产生的噪声标签。然而，从粗糙的噪声标签中学习准确的显著性细节仍然是困难的。本文提出从合成但干净的标签中学习显著性，这自然具有更高的像素标签质量，而不需要人工标注的努力：本文通过一个简单的复制粘贴策略构建一个合成SOD数据集。，且提出了一种新型的无监督领域自适应SOD方法。
  code

Energy-Based Generative Cooperative Saliency Prediction

• Abstract
  为了针对视觉显著性的不确定性建模，本文从生成模型的角度研究显著性预测问题。本文提出一个生成式协同显著性预测框架，其中条件潜变量模型（LVM）和基于条件能量的模型（EBM）被联合训练，以协同方式预测显著性对象。LVM作为一个快速但粗糙的预测器，有效地产生一个初始显著图，然后由迭代的朗之万修订的EBM作为一个缓慢但良好的预测器。此外，本文还提出一种边恢复边合作的学习策略，并将其应用于弱监督显著性预测，其中训练图像的显著性注释是部分观察的。其次，本文发现EBM中的学习能量函数可以作为细化模块，可以细化其他预训练的显著性预测模型的结果。
  code

Weakly-Supervised Salient Object Detection Using Point Supervison

• Abstract
  目前先进的显著性检测模型严重依赖于精确的像素级注释的大型数据集，因而花费大量的前期准备时间，弱监督方法则可以用来缓解这一问题。本文通过重新标记DUTS数据集，从而提出一个新的点监督数据集（P-DUTS）。为了推断显著图，本文首先设计了一种自适应掩蔽泛洪填充算法来生成伪标签。然后设计了一个基于transformer的点监督显著性检测模型，生成第一轮显著图。此外，本文提出一种非显著性抑制方法（NSS）优化第一轮显著图，并进行第二轮训练。
  code

TRACER: Extreme Attention Guided Salient Object Tracing Network-

• Abstract
  当前SOD的研究主要集中在提取具有边缘信息的显著性目标，并对多级特征进行聚集来提高SOD的性能，现有的方法采用了精细化的边缘信息和低层次的差异，但缺点在于不能同时获取性能增益和计算效率。本文提出TRACER模型，通过结合注意引导跟踪模块来检测具有显式边缘的显著对象。本文在Encoder的末尾添加了一个掩码边缘注意模块，使用快速傅里叶变换将精炼的边缘信息传播到下游特征提取。在多层次聚集阶段，本文使用联合注意模块识别互补通道和重要空间信息。为提高Decoder性能和计算效率，本文使用对象注意模块来最小化解码器块的使用，该模块从细化的通道和空间表示中提取未检测到的对象和边缘信息。最后，本文提出一种自适应像素强度损失函数来处理相对重要的像素。
  code

I can find you! Boundary-guided Separated Attention Network for Camouflaged Object Detection

• Abstract
  伪装物体的边界与背景之间的分界相当模糊并且难以区分。本文设计了一个边缘检测模块（Boundary Detector）和一个边缘引导模块（Boundary Guide），前者负责提取有价值的边缘先验，后者负责将边缘先验传播到分离开的前景流和背景流之中，对应利用边缘增强检测精度环节。其次，本文设计了一个分离注意力模块（Separated Attention module），通过前景和背景信息的协同以及BG模块引入的边缘先验来对特征进行增强，增强后的特征会送入最终的融合模块（Fusion module）预测伪装图，以找到前景和背景之间不明显的差距，生成最终的伪装图预测。
  code

---

TIP

Salient Object Detection via Dynamic Scale Routing

• Abstract
  SOD最新研究进展很大程度上归功于深度学习技术赋予的越来越强的多尺度特征表示。现有的SOD深度模型通过现成的编码器提取多尺度特征，并通过各种精致的解码器巧妙地组合它们。然而这个常用的线程中的内核大小通常是固定的。在本文中，作者观察到。在包含微小突出物体的场景中，小尺寸的核是更可取的，而较大的内核尺寸可以更好地处理具有较大显著对象的图像。本文提出动态规模路由，其将产生一个通用插件，可直接适合现有的特性主干。本文提出了动态金字塔卷积（DPConv），而非使用具有固定内核大小的编码器设计，它动态地在给定输入中选择最适合的内核大小。其次，本文提供了一个自适应的双向译码器设计，以适应基于DPConv的Encoder。本文最重要的亮点是于它在特征尺度及其动态集合之间路由的能力，使推理过程具有尺度感知。
  code

---

TGRS

Lightweight Salient Object Detection in Optical Remote Sensing Images via Feature Correlation

• Abstract
  光学遥感图像中的显著目标检测（ORSI-SOD）已被广泛探索，以了解ORSI。然而，以前的方法主要侧重于提高检测精度，而忽略了内存和计算的成本。本文提出一个轻量级模型网络CorrNet，以解决该问题。本文首先减轻骨干网络（VGG-16），并建立一个轻量级子网用于特征提取。其次，按照从粗到细的策略，从相关模块（CorrM）中的高级语义特征中生成一个初始的粗略显著图，作为低层次特征的位置指导，同时通过跨层的相关操作在高层语义特征之间挖掘物体位置信息。最红，基于低层次的详细特征，在装有密集轻量级强化块的强化子网中强化粗盐度图，并产生最终的精细显著图。
  code

---

ArXiv

A Unified Transformer Framework for Group-based Segmentation: Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection

• Abstract
  人类倾向于通过从一组图像或几帧视频中学习来挖掘对象，在CV领域中，许多研究集中在协同分割（CoS）、协同显著性检测（CoSD）和视频显著性目标检测（VSOD）来发现共有对象。然而现有的方法都是针对这些相似的任务分别设计不同的网络，难以相互应用，降低了深度学习框架可移植性的上限。此外，也不能充分利用一组图像中特征间和特征内的线索。本文提出一种统一的框架UFO，首先引入一个变形块，将图像特征视为一个补丁令牌，然后通过自注意机制捕获其长期依赖关系，这可以帮助网络挖掘相关对象之间的补丁结构相似性。此外，本文提出一个内部MLP学习模块产生自掩码增强网络。
  code

An Energy-Based Prior for Generative Saliency

• Abstract
  本文提出一种基于能量的先验生成显著性预测，其中潜在变量遵循一个信息的基于能量的先验。本文的模型使用了基于能量的信息先验，在捕获数据的潜在空间方面更具表现力。利用基于信息能量的先验，本文扩展了生成模型的高斯分布假设，以获得更具有代表性的潜在空间分布，从而得到更可靠的不确定性估计。本文将所提出的框架应用于具有transformer和卷积神经网络主干的RGB和RGB- D显著目标检测任务。实验结果表明，基于能量先验的生成显著性模型不仅可以实现准确的显著性预测，还可以实现与人类感知一致的可靠的不确定性映射。
  code

Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection

• Abstract
  本文提出一个两阶段Activation-to-Saliency（A2S）框架，可以有效地生成高质量的显著性线索，并使用这些线索来训练一个强大的显著性检测器，同时在整个训练过程中，该框架不涉及任何人为标注。在第一阶段，转换一个预训练的网络（MoCo v2），将多层次的特征聚集到一个单一的激活图上，其中提出一个自适应决策边界（ADB）来帮助训练转换后的网络。为了促进高质量伪标签的生成，提出一个损失函数来扩大像素和它们的平均值之间的特征距离。在第二阶段，在线标签校正（OLR）策略在训练过程中更新伪标签，以减少干扰因素的负面影响。此外，使用两个Residual Attention模块（RAM）构建一个轻量级的显著性检测器，该模块利用低层次特征（如边缘和颜色）的互补信息完善了高层次特征。

code

---

TCyb

Adjacent Context Coordination Network for Salient Object Detection in Optical Remote Sensing Images

• Abstract
  本文有关光学遥感图像中的显著性目标检测，即RSI-SOD。本位币提出一种新的相邻上下文协调网络（ACCoNet）来探索RSI-SOD中Encoder-Decoder 中相邻特征的协调。ACCoNet由三个部分组成：Encoder、相邻上下文协调模块（ACCoMs）和Decoder。ACCoMs包含一个本地分支和两个相邻分支，以同时协调多层特征。局部分支以自适应方式突出突出突出区域，相邻分支引入相邻级别的全局信息，突出突出区域。此外，本文提出分叉-聚合块来捕获Decoder上下文信息。
  code

Global-and-Local Collaborative Learning for Co-Salient Object Detection

• Abstract
  本文提出一种全局和局部协同学习的架构，包括全局对应模型（GCM）和局部对应模型（LCM），从全局和局部两个角度全面捕捉图像间的对应关系。首先，本文将不同的图像作为不同的时间切片，利用三维卷积对所有的内部特征进行直观地整合，从而更充分地提取全局组语义。其次，本文设计了成对相关变换(PCT)来探索成对图像之间的相似度对应关系，并结合多个局部成对对应关系来生成局部图像间关系。此外，通过全局和局部对应聚合（GLA）模块整合GCM和LCM的图像间关系，以探索更全面的图像间协作线索。最后，通过内部和内部加权融合（AEWF）模块自适应地整合内部和内部特征，学习共同显著性特征并预测共同显著性图。

code

DNA: Deeply-supervised Nonlinear Aggregation for Salient Object Detection

• Abstract
  显著目标检测的最新进展主要集中在如何在CNN中有效地整合多尺度特征。许多流行的方法使用深度监督来得到side-output预测。本文证明，SOD现流行的方法对side ouput进行线性融合是次优的，只对通过深度监督得到的side ouput中所包含的信息进行了有限的利用。为解决这一问题，本文提出深度监督非线性聚合（DNA），以更好地利用不同side output中所包含的互补信息。
  code

---

TPAMI

Salient Object Detection via Integrity Learning

• Abstract
  本文提出了一个新颖的完整性认知网络（ICON），探索了学习强完整性特征的三个重要组成部分。本文引入了多样性的特征聚合组件（DFA）来聚合具有各种感受野的特征并增加特征多样性；本文引入了完整性通道增强组件（ICE），用以增加突出整体显著对象的特征通道的权重，同时抑制其他分散注意力的对象；本文采用部分-整体验证（PWV）方法判断部分和整体对象特征是否具有强一致性，这种部分-整体协议可以进一步提高每个显着对象的微观完整性。

code

---

TCSVT

A Weakly Supervised Learning Framework for Salient Object Detection via Hybrid Labels

• Abstract
  全监督SOD往往依赖于大量的像素级注释，耗时耗力。本文重点研究了一种混合标签下的弱监督SOD任务，其中监督标签包括传统无监督方法生成的大量粗标签和少量真实标签。为了解决标签噪声和数量不平衡的问题，本文设计了一个新的管道框架，包含三种复杂的训练策略。在模型框架上，本文将任务解耦为标签细化子任务和显著目标检测子任务，相互配合，交替训练。具体来说，R-Net是一个双流编码器-解码器模型，配备了BGA，旨在纠正粗标签，以获得更可靠的伪标签，而S-Net是一个可替换的SOD网络，由当前R-Net生成的伪标签监督。此外，为了保证网络培训的有效性和效率，本文设计了三种培训策略，包括交替迭代机制、分组增量机制和可信度验证机制。
  code

---

ACCV

Revisiting Image Pyramid Structure for High Resolution Salient Object Detection

• Abstract
  本文提出一种基于图像金字塔的SOD框架，即反向显着性金字塔重建网络 （InSPyReNet），用于在没有任何高分辨率数据集的情况下进行高分辨率预测。本文设计的InSPyReNet以生成显著图的严格图像金字塔结构，从而能够通过基于金字塔的图像混合来集成多个结果。对于高分辨率预测，本文设计了一种金字塔混合方法，该方法从同一图像的一对低分辨率和高分辨率尺度合成两个不同的图像金字塔，以克服有效感受野差异。
  code

---

ACMM

Synthetic Data Supervised Salient Object Detection

• Abstract
  本文提出一种网络框架SODGAN，用以生成无限高质量的图像掩模对，只需少量的标记数据，即可取代人工标记的DUTS-TR来训练任何现成的SOD模型、本文提出扩散嵌入网络可以解决流形不匹配的问题，且在潜在代码生成方面易于处理，与ImageNet潜在空间匹配较好。此外，本文提出的少镜头显著性掩模生成器首次可以用少量标记数据合成无限精确的图像同步显著性掩模。最后，本文提出的质量感知鉴别器可以从有噪声的合成数据池中选择高质量的合成图像-掩模对，提高合成数据的质量。本文的SODGAN首次用生成模型直接生成的合成数据处理SOD，这为SOD开辟了新的研究范式。
  code