ApplSci_2024 Camouflaged Object Detection That Does Not Require Additional Priors

动机

Camouflaged object detection (COD) 是一项具有挑战性的任务,因为伪装物体与其背景有着显著的相似性,导致检测算法效率低下。传统的COD方法通常依赖于额外的先验知识来指导模型训练,但这种先验知识的获取成本高昂,并且通常已经嵌入在原始图像中却未被充分利用。为了应对这些问题,本文提出了一种不依赖额外先验知识的新型伪装线索引导网络(CCGNet),该网络通过自适应方法动态提取伪装物体的线索来提高检测性能。

主要贡献

  1. 提出CCGNet:针对COD问题,提出了一种新型伪装线索引导网络CCGNet。该网络通过自适应特征融合模块(AFFM)有效提取和整合图像中的内在语义信息,增强模型对伪装物体整体结构的理解。
  2. 引入两个关键模块:引入前景分离模块(FSM)边缘细化模块(ERM),利用AFFM生成的伪装线索(其实就是编码器提取的最终特征)深入挖掘图像中的相关语义细节,并改进伪装物体的边缘表示。
  3. 实验验证:在三个传统基准数据集上进行了广泛的实验,结果表明该模型在所有四个指标上均优于最先进的模型。

创新点

  1. 自适应特征融合:提出了自适应特征融合模块(AFFM),通过监控模型对伪装物体的学习状态,动态选择和融合特征,生成伪装线索。这些线索包含了模型各层所学习到的有用信息,用于纠正和补充不同层次的特征,指导模型关注图像的整体结构。
  2. 前景分离与边缘细化前景分离模块(FSM)利用伪装线索增强各层特征,改进模型对伪装物体整体结构的学习,解决像素分布不均的问题;边缘细化模块(ERM)通过结合上下文信息进一步细化模型的边缘预测,提供更精确的边缘表示。
  3. 无先验知识指导:与许多依赖于额外先验信息的COD算法不同,本文提出的方法仅利用从原始图像中提取的线索进行模型训练,避免了获取先验知识的高昂成本和额外依赖。

结论

本文提出的CCGNet通过自适应融合多层特征,生成伪装线索,结合前景分离和边缘细化模块,显著提升了伪装物体检测的性能。在三个基准数据集上的实验结果表明,该方法在各项指标上均优于当前最先进的方法,验证了其有效性和优越性。

摘要

在本文中,作者引入了一种新的伪装线索制导网络(CCGNet),用于伪装目标检测,不依赖于额外的先验知识(比如边缘特征信息)。具体来说,使用自适应方法来跟踪模型相对于伪装对象的学习状态,并从原始图像中动态提取伪装对象的线索。此外,我们还引入了前景分离模块和边缘细化模块,以有效地利用这些伪装线索,帮助模型完全分离伪装对象并实现精确的边缘预测。

作者所提到的伪装目标检测的Additional Priors是指什么?如何理解作者所述的adaptive approach中的adaptive?

在伪装目标检测中,Additional Priors额外先验知识是指在模型训练过程中,除了原始图像之外,额外提供的辅助信息。这些辅助信息通常包括边界信息、分割标签、物体的形状和结构信息等。其目的是通过额外的指导信息来提高模型对伪装目标的检测精度。然而,获取这些额外先验知识往往需要大量的人工标注和资源投入。

在本文中,作者提到的adaptive approach(自适应方法)中的adaptive(自适应的),主要指模型在训练过程中能够根据学习状态动态地调整和提取伪装目标的特征信息。具体来说,作者提出了一个自适应特征融合模块(Adaptive Feature Fusion Module,AFFM),这个模块可以根据模型对伪装目标的当前理解状态,动态选择和融合不同层次的特征,以生成伪装线索(camouflage cues)。这些伪装线索包含了模型从图像中学到的有用信息,能够帮助模型更好地分离伪装目标,并在没有额外先验知识的情况下,提升检测性能。

这种自适应的方法不仅能够捕捉到多层次的图像特征,还能根据模型的学习状态不断优化特征提取和融合过程,确保模型始终能够聚焦于图像中的关键信息,从而提高伪装目标检测的效果。

相关工作

2.2. Camouflaged Object Detection

近年来,伪装目标检测(Camouflaged Object Detection,COD)的方法可以分为两类:利用先验信息的方法和不依赖先验信息的方法。

利用额外先验信息的方法
  1. Lv et al. 提出了一个联合框架,用于定位、分割和排序伪装目标。他们在训练过程中加入了额外的排序信息,从而改进了伪装的理解 。
  2. Zhai et al. 提出了互相图学习(mutual graph learning)的方法,该方法通过将图像分解为任务特定的特征图来实现精确的定位和边界优化 。
  3. Sun et al. 探索了利用物体相关的边缘语义作为模型学习的附加指导,从而促进生成强调物体边缘的特征 。
  4. He et al. 提出了使用边缘似然图来指导伪装目标特征的融合,以提高检测性能 。
  5. Kajiura et al. 使用伪边缘生成器预测边缘标签,有助于准确的边缘预测 。
  6. Zhu et al. 提出了利用Canny边缘检测和Conedge技术辅助模型训练 。
  7. Li et al. 提出了联合训练伪装物体和显著性物体的方法,以增强模型检测能力 。
  8. Yang et al. 结合了贝叶斯学习和基于Transformer的推理优势,提出了不确定性引导的随机遮罩作为先验知识来辅助模型训练 。
  9. Bian et al. 利用边缘信息评估物体的伪装程度 。
  10. Song et al. 提出了选择某些结构特征,如光照、纹理方向和边缘,并使用加权结构纹理相似性评估伪装纹理的影响 。

然而,先验信息通常昂贵且不实际

不依赖额外先验信息的方法
  1. Mei et al. 提出了一个定位模块、聚焦模块和新颖的干扰挖掘策略,以增强模型性能 。
  2. Fan et al. 受自然界中捕食者行为的启发,提出了一个搜索和识别网络,包含目标定位和识别步骤 。
  3. Sun et al. 提出了一个注意力引导融合模块,整合多层次特征并结合上下文信息进行更有效的预测 。
  4. Zhang et al. 提出了一种模型,包含捕猎的两个过程,即感知和认知机制。设计了专门的模块以选择性和注意地聚合初始特征 。
  5. Jia et al. 提出了一种方法,模型关注固定和边缘区域,使用注意力引导的采样器逐步放大目标区域 。
  6. Ren et al. 引入了在深度卷积神经网络中构建多个纹理感知细化模块的概念,以学习能够突出伪装物体与背景之间微妙纹理差异的特征 。
  7. Dong et al. 将大接收野和有效特征融合集成到统一框架中,以增强模型检测伪装目标的能力 。

实际上,不依赖先验信息的算法通常利用各种技术来聚合不同感受野大小的特征,以获得更好的检测结果。然而,这些算法常常效率低下,并且在有效提取图像信息方面遇到限制。相比之下,本文提出的CCGNet能够有效引导模型训练过程,通过自动从图像中提取有价值的特征生成伪装线索,无需外部先验知识。

提出的方法

3.1 Overall architecture

CCGNet的体系结构如图 2 所示,它由三个模块组成:自适应特征融合模块(AFFM)、前景分离模块(FSM)和边缘细化模块(ERM),分别在3.2节、3.3节和3.4节中描述。在提取多尺度特征时,采用Res2Net-50[41]架构作为主干(默认5个stages )。本文从特征层次的最后四层得到多尺度特征。最接近输入的层被排除在外,因为它包含过多的噪声并且有一个小的接受野。请注意,下面的图2中没有描述最接近输入的层。

在这里插入图片描述
该框架由自适应特征融合模块(AFFM)、前景分离模块(FSM)和边缘细化模块(ERM)三个部分组成。AFFM通过多层特征的自适应融合来深入研究伪装对象的整体结构,从而生成与模型学习状态一致的定制伪装线索(CC),在这方面起着关键作用。前景分离模块(FSM)和边缘细化模块(ERM)结合伪装线索,显著增强了特征表示。

作者提出的模型整体结构图可以认为是编码器-解码器结构

是的,作者提出的模型整体结构图可以认为是编码器-解码器结构。下面详细解释编码器和解码器模块:

编码器部分

编码器部分的主要任务是从输入图像中提取多尺度、多层次的特征。对应到图中的模块是:

  1. 特征提取层(f1, f2, f3, f4)

    • 这些层通过卷积操作对输入图像进行特征提取,逐层提取高层次特征。这些层可以看作是编码器的主体部分。
  2. 自适应特征融合模块(AFFM)

    • 这个模块负责对从各层提取的特征进行自适应融合,生成伪装线索(CC)。AFFM通过深层注意力机制(DLA)和空间通道注意力机制(SCA)对多层特征进行融合,并生成伪装线索(CC),这些伪装线索包含了丰富的上下文信息和结构信息。

解码器部分

解码器部分的主要任务是利用编码器提取的特征进行目标的分割和边缘细化。对应到图中的模块是:

  1. 前景分离模块(FSM)

    • 该模块利用伪装线索(CC)和各层特征,进行前景特征的分离和增强。FSM对每一层特征进行通道注意力(CA)处理,生成细化特征(RF)。
  2. 边缘细化模块(ERM)

    • 该模块对细化特征(RF)进行进一步处理,通过融合上下文信息,实现更精细的边缘预测。ERM通过学习同一层特征的不同分支之间的语义相关性,实现特征的过滤和细化
  3. 多尺度输出(O1, O2, O3, O4)

    • 解码器的输出包括多个尺度的预测结果(O1, O2, O3, O4),这些输出通过损失函数与真实标签(GT)进行对比,以指导模型的训练。

总结

  • 编码器:特征提取层(f1, f2, f3, f4)和自适应特征融合模块(AFFM)。
  • 解码器:前景分离模块(FSM)、边缘细化模块(ERM)以及多尺度输出(O1, O2, O3, O4)。

通过这种编码器-解码器结构,模型能够有效地提取和融合多层次特征,实现对伪装目标的精确检测和边缘细化。

3.2. Adaptive Feature Fusion Module (AFFM)

Background and Challenges:

伪装目标检测中,边界先验排序先验通常用于辅助目标检测模型。然而,基本的检测信息主要存在于图像特征中。由于伪装图像中前景和背景特征的固有相似性,以及模型训练过程中可能丢失的关键信息,可靠特征信息的有效利用成为以往模型的一大挑战。额外先验知识的整合虽然能显著提升检测性能,但依赖人类识别,导致劳动成本增加,并可能影响算法的适应性和有效性

AFFM的提出:

为解决上述问题,本文提出了自适应特征融合模块(Adaptive Feature Fusion Module, AFFM)。该模块根据模型对伪装目标的学习状态动态融合多层特征,提取有价值的检测知识,最终生成全面的伪装线索(Camouflage Cues, CC)。这些伪装线索涵盖了模型学到的所有知识,有助于伪装目标检测,并增强模型对伪装目标整体结构的理解。

具体实现:

  1. 卷积操作与特征调整:

    • 对所有输入特征应用卷积操作,然后调整所有输入特征的尺寸。高层特征 { f i } i = 2 4 \{f_i\}^4_{i=2} {fi}i=24调整为尺寸为 { x i } i = 1 3 ∈ R H 8 × W 8 × 256 \{x_i\}^3_{i=1}\in\mathbb{R}^{\frac{H}{8}\times\frac{W}{8}\times 256} {xi}i=13R8H×8W×256,低层特征 f 1 f_1 f1调整为尺寸为 x l ∈ R H 8 × W 8 × 128 x_l \in\mathbb{R}^{\frac{H}{8}\times\frac{W}{8}\times 128} xlR8H×8W×128
  2. 深层注意力机制(DLA):

    • 使用深层注意力机制(Deep Layer Attention, DLA)增强模型对伪装目标整体结构的理解。分析各特征层之间的相互作用,根据获取特征的重要性分配权重,通过加权过滤提取与伪装目标相关的特征。
    • DLA 的计算公式如下:
      w i , j = S o f t m a x ( ϕ ( x ) i ⋅ ( ϕ ( x ) ) j T ) , i , j ∈ { 1 , 2 , 3 } w_{i,j} = Softmax(ϕ(x)_i · (ϕ(x))^T_j), i, j ∈ \{1, 2, 3\} wi,j=Softmax(ϕ(x)i(ϕ(x))jT),i,j{1,2,3} x j = β ∑ i = 1 3 w i , j x i + x j , x i / x j ∈ { x 1 , x 2 , x 3 } x_j = β \sum_{i=1}^{3} w_{i,j} x_i + x_j, x_i/x_j ∈ \{x_1, x_2, x_3\} xj=βi=13wi,jxi+xj,xi/xj{x1,x2,x3} x h = [ x 1 ; x 2 ; x 3 ] x_h = [x_1; x_2; x_3] xh=[x1;x2;x3]
      其中, w i , j w_{i,j} wi,j表示层 i i i 和层 j j j 之间的相关权重, ϕ ( ⋅ ) ϕ(·) ϕ() 表示重塑操作, β β β 初始设为 0 0 0 ,随后由网络自动分配。
  3. 空间通道注意力机制(SCA):

    • 将得到的特征 x h ∈ R H 8 × W 8 × 768 x_h \in\mathbb{R}^{\frac{H}{8}\times\frac{W}{8}\times 768} xhR8H×8W×768 与低层 f 1 f_1 f1调整后得到的特征 x l x_l xl 融合。借鉴[20]的工作,采用空间通道注意力机制(Spatial Channel Attention, SCA)研究不同特征通道之间的相关性,并从中提取有价值的检测知识。
    • SCA 的计算过程如下: O 4 = S C A ( x l , x h ) O_4 = SCA(x_l, x_h) O4=SCA(xl,xh) S C A ⇐ C o n v 1 × 1 ( C o n v 3 × 3 ( σ ( C o n v 1 × 1 ( ⋅ ) ) ) ) SCA ⇐ Conv_{1×1}(Conv_{3×3}(σ(Conv_{1×1}(·)))) SCAConv1×1(Conv3×3(σ(Conv1×1())))其中, C o n v i × i Conv_{i×i} Convi×i表示一组卷积操作,卷积核大小为 i × i i × i i×i,包含BN层和 S i L U SiLU SiLU 激活函数。 σ σ σ 表示 CBAM。
  4. 生成伪装线索:

    • 最后对 O 4 O_4 O4 应用 Sigmoid 函数,生成伪装线索(CC),表示为二值图。融合高层和低层特征生成的伪装线索包含了模型对伪装目标整体结构的丰富理解,有助于伪装目标检测。

通过不同层次特征的组合,模型利用每层固有的不同优势,自适应的融合过程确保生成的伪装线索与当前模型对伪装目标的理解状态一致,提供了宝贵的训练指导 。

3.3. Foreground Separation Module (FSM)

Background and Challenges:

在伪装目标检测中,利用Adaptive Feature Fusion Module (AFFM)提取的Camouflage Cues (CC)是关键。这些CC在训练过程中为模型提供指导,弥补了各层特征中的缺失信息。然而,为了有效利用CC,需要一个模块将伪装目标从背景中分离出来。为此,本文设计了Foreground Separation Module (FSM)。

FSM的设计目标:

FSM的主要目标是通过将特定于伪装目标的学习线索(CC)纳入表示学习过程,完成对伪装目标的完整预测,并有效地将伪装目标从图像背景中分离出来。更具体地说,通过使用CC增强各层特征,可以增强模型对伪装目标整体结构的学习,并有效缓解像素分布不均的问题。

在这里插入图片描述

FSM的具体实现:

连续两次应用通道注意力,第一次CA使得backbone不同stages输出的原始特征得到对应的粗略图,然后对粗略图和AFFM得到的编码器最终特征 CC(伪装线索)相乘后得到的精细图再第二次应用通道注意力CA得到最终的精细特征 R F i RF_i RFi

  1. 通道注意力(Channel Attention,CA)机制:

    • 受到文献[45]的启发,使用通道注意力机制对图像特征 { f i } i = 1 3 \{f_i\}^3_{i=1} {fi}i=13进行处理,探索关键信道特征。
    • 然后通过卷积操作得到 g c o a r s e ∈ R H 2 i + 1 × W 2 i + 1 × 256 g_{coarse} ∈ \mathbb{R}^{\frac{H}{2^{i+1}}\times\frac{W}{2^{i+1}}\times 256} gcoarseR2i+1H×2i+1W×256
  2. 特征提取与融合:

    • g c o a r s e g_{coarse} gcoarse g c c g_{cc} gcc(通过上采样或下采样操作应用于CC获得)中提取 g r e f i n e g_{refine} grefine g r e f i n e g_{refine} grefine 已经包含了关于物体的相当全面的信息。
    • 为了精确分离前景和背景特征,重新审视通道特征,过滤掉任何伪装特征。
    • 最终通过1×1卷积获得最终输出 { R F i } i = 1 3 \{RF_i\}^3_{i=1} {RFi}i=13,计算公式如下:
      g c o a r s e = C o n v 3 × 3 ( C A ( f i ) ) , i ∈ { 1 , 2 , 3 } g_{coarse} = Conv_{3×3}(CA(f_i)), i ∈ \{1, 2, 3\} gcoarse=Conv3×3(CA(fi)),i{1,2,3} g r e f i n e = g c o a r s e ⊗ U p 2 / D w 2 ( g c c ) g_{refine} = g_{coarse} ⊗ Up_2/Dw_2(g_{cc}) grefine=gcoarseUp2/Dw2(gcc) R F i = C o n v 1 × 1 ( C A ( g r e f i n e ) ) , i ∈ { 1 , 2 , 3 } RF_i = Conv_{1×1}(CA(g_{refine})), i ∈ \{1, 2, 3\} RFi=Conv1×1(CA(grefine)),i{1,2,3}
      其中, f i f_i fi表示主干网络输出的图像特征, R F i RF_i RFi是细化后的特征。
  3. 最终的特征细化:

    • FSM通过多特征信道过滤,利用CC补全各特征层中的缺失信息,最终实现对伪装目标前景信息的完全分离。

通过FSM,模型能够更好地分离伪装目标和背景,提高伪装目标检测的准确性

3.4. Edge Refinement Module (ERM)

背景与挑战:

尽管前景分离模块(FSM)能够有效利用伪装线索(CC)来补充和细化各层的特征,但在细节的感知上,尤其是边缘信息方面,仍然不够精确。为了在不依赖先验知识来监督模型训练的情况下解决这一问题,本文引入了边缘细化模块(Edge Refinement Module,ERM),通过过滤特征,帮助模型通过探索上下文信息实现更精细的边缘预测。

ERM的设计目标:

ERM的主要目标是通过结合上下文信息,学习同一特征层内不同通道分支之间的语义相关性,实现精细的边缘预测。与纹理增强模块(TEM)不同,ERM还考虑了同一特征层内不同分支之间的语义相关性。

在这里插入图片描述

ERM的具体实现:

  1. 特征聚合与预处理操作(PPO):

    • 通过预处理操作(PPO)聚合细化特征 { R F i } i = 1 3 \{RF_i\}^3_{i=1} {RFi}i=13和高级输出特征 { O i } i = 2 3 \{O_i\}^3_{i=2} {Oi}i=23,获得特征 { y i } i = 1 3 ∈ R H 2 i + 1 × W 2 i + 1 × 256 \{y_i\}^3_{i=1}\in\mathbb{R}^{\frac{H}{2^{i+1}}\times\frac{W}{2^{i+1}}\times 256} {yi}i=13R2i+1H×2i+1W×256包含自上而下的语义信息。
    • { y i } i = 1 3 \{y_i\}^3_{i=1} {yi}i=13 的生成过程如下 y i = P P O ( R F i , O i + 1 ) , i ∈ { 1 , 2 } y_i = PPO(RF_i, O_{i+1}), i ∈ \{1, 2\} yi=PPO(RFi,Oi+1),i{1,2} y 3 = R F 3 y_3 = RF_3 y3=RF3
  2. 语义相关性探索与通道分割:

    • 为了探索同一层特征的不同通道分支之间的语义相关性,将 { y i } i = 1 3 \{y_i\}^3_{i=1} {yi}i=13在通道维度上分成四部分: [ y i 1 ; y i 2 ; y i 3 ; y i 4 ] [y^1_i; y^2_i; y^3_i; y^4_i] [yi1;yi2;yi3;yi4]

    • 受文献[20]的启发,将一个分支的特征添加到其相邻分支的特征中,这一过程可以表示如下:
      在这里插入图片描述

    • 其中, { C B j } j = 1 4 \{CB_j\}^4_{j=1} {CBj}j=14 表示一系列卷积操作,其具体组成如下:
      在这里插入图片描述

    • 其中, D C o n v i × i j DConv^j_{i×i} DConvi×ij 表示膨胀卷积,卷积核大小为 i × i i × i i×i ,膨胀率为 j j j

  3. 残差结构与特征合并:

    • 为避免在卷积过程中丢失重要的检测信息,在每个交互分支中添加残差结构,获得特征 z i j ′ ∈ R H 2 i + 1 × W 2 i + 1 × 256 z^{j'}_i\in\mathbb{R}^{\frac{H}{2^{i+1}}\times\frac{W}{2^{i+1}}\times 256} zijR2i+1H×2i+1W×256。将所有 z j ′ z^{j'} zj 合并,得到特征 { Z i } i = 1 3 ∈ R H 2 i + 1 × W 2 i + 1 × 256 \{Z_i\}^3_{i=1} \in\mathbb{R}^{\frac{H}{2^{i+1}}\times\frac{W}{2^{i+1}}\times 256} {Zi}i=13R2i+1H×2i+1W×256
    • { Z i } i = 1 3 \{Z_i\}^3_{i=1} {Zi}i=13 通过学习相邻特征之间的关系进行过滤,促使模型更关注细节表达。
    • 最终,进行一系列计算,得到输出特征 { O i } i = 1 3 ∈ R H 2 i + 1 × W 2 i + 1 × 1 \{O_i\}^3_{i=1} \in\mathbb{R}^{\frac{H}{2^{i+1}}\times\frac{W}{2^{i+1}}\times 1} {Oi}i=13R2i+1H×2i+1W×1,其计算过程如下:
      O i = y i + λ ⋅ R ( L ( Z i ) ) , i ∈ { 1 , 2 , 3 } O_i = y_i + λ · R(L(Zi)), i ∈ \{1, 2, 3\} Oi=yi+λR(L(Zi)),i{1,2,3}
      其中,R表示ReLU函数,L表示线性函数,λ是缩放因子。

{ O i } i = 2 4 \{O_i\}^4_{i=2} {Oi}i=24相比, O 1 O_1 O1显示了更精细的边缘细节。

3.5 损失函数

背景:
为了实现对伪装目标的准确检测,CCGNet引入两种损失函数:Dice损失( L d i c e L_{dice} Ldice)和结构损失( L s t r u c t L_{struct} Lstruct

Dice Loss ( L d i c e L_{dice} Ldice):

  • 用于处理输出 O 4 O_4 O4,以应对正负样本不平衡的场景。
  • Dice损失在二值分割任务中被广泛使用,它能够有效衡量预测结果与实际标签之间的重叠程度,公式如下:
    L d i c e = 1 − 2 × ∣ P ∩ G ∣ ∣ P ∣ + ∣ G ∣ L_{dice} = 1 - \frac{2 \times |P \cap G|}{|P| + |G|} Ldice=1P+G2×PG
    其中,P表示预测结果,G表示实际标签。

Structural Loss ( L s t r u c t L_{struct} Lstruct):

  • 应用于 { O i } i = 1 3 \{O_i\}^3_{i=1} {Oi}i=13,以促进结构的一致性和准确性。
  • 结构损失结合了加权的交叉熵损失( L B C E w L^w_{BCE} LBCEw)和加权的IoU损失( L I o U w L^w_{IoU} LIoUw),公式如下:
    L s t r u c t = L B C E w + L I o U w L_{struct} =L^w_{BCE}+ L^w_{IoU} Lstruct=LBCEw+LIoUw

总损失函数:

  • 总损失函数(Ltotal)结合了上述两种损失,定义如下:
    L t o t a l = ∑ i = 1 3 L s t r u c t ( O i , G T ) + L d i c e ( O 4 , G T ) L_{total} = \sum_{i=1}^{3} L_{struct}(O_i, GT) + L_{dice}(O_4, GT) Ltotal=i=13Lstruct(Oi,GT)+Ldice(O4,GT)
    其中, { O i } i = 1 4 \{O_i\}^4_{i=1} {Oi}i=14 表示由CCGNet生成的特征图,GT表示真实标签。在测试过程中, O 1 O_1 O1被用作模型的预测结果。

通过结合Dice损失和结构损失,CCGNet能够在处理正负样本不平衡的同时,保持预测结果的结构一致性和准确性,从而提高伪装目标检测的整体性能

4. 实验

4. 实验与分析

4.1 实验设置
  • 实现: 模型使用PyTorch实现,并采用Adam优化算法进行优化。初始学习率为1 × 10⁻⁴,每50个epoch减少十倍。训练在NVIDIA 3090Ti GPU上进行。
  • 训练参数: 批处理大小设为36,整个训练过程约为100个epoch。缩放因子λ设为0.5【31:0†source】。
4.2 与最先进方法的比较

在这里插入图片描述

  • 数据集: 该方法在三个基准数据集上进行了评估:CAMO, COD10K, 和 NC4K。
  • 评估指标: 使用四个广泛认可的评估指标:MAE (M),加权F值 (Fwβ),平均E值 (Eϕ),和S值 (Sα)【31:1†source】。
  • 对比分析: 将提出的CCGNet与十一种最先进的方法进行了对比:EGNet, SCRN, F3Net, CSNet, BASNet, SINet, PFNet, S-MGL, BGNet, LSR+, 和 C2FNet。
    • 结果: CCGNet在所有四个评估指标上均优于现有方法。在与BGNet的对比中,CCGNet在Sα上平均提高了1.13%,在Eϕ上提高了0.16%,在Fwβ上提高了0.1%【31:2†source】【31:3†source】。
4.3 消融实验

在这里插入图片描述

  • 目标: 验证模型中每个组件和超参数(λ)的有效性。
  • 评估的组件:
    • 自适应特征融合模块(AFFM): Model 5 优于 Model 4,在Sα上提高了0.5%,在Eϕ上提高了1.33%,在Fwβ上提高了1.23%【31:5†source】。
    • 前景分离模块(FSM): Model 4 显著优于 Model 2,在Sα上提高了0.3%,在Eϕ上提高了0.26%,在Fwβ上提高了0.8%【31:6†source】。
    • 边缘细化模块(ERM): 在Model 3与Model 5以及Model 1与Model 2的对比中,检测精度显著提高,表明ERM在增强边缘细节检测方面的重要性。三个数据集上,Sα平均增加了0.56%,Eϕ增加了0.3%,Fwβ增加了0.36%【31:7†source】【31:8†source】。
  • λ的敏感性分析:
    • 结果: 随着λ的增加,模型性能在λ达到0.5时达到峰值,之后开始下降。最佳λ值为0.5【31:9†source】。
      在这里插入图片描述

AFFM融合特征层实验。在AFFM的伪装线索生成中,通过实验确定哪些特征层信息应该自适应组合。如表4所示,在融合过程中加入更多的特征层后,模型的检测性能有了明显的提高。当所有特征层都进行自适应融合时,检测结果最理想。这些发现强调了每个特征层在增强模型对伪装对象的理解方面所起的重要作用。必须强调的是,每一层对最终测试结果的贡献是不同的和不可替代的。

4.4 视觉评估
  • 定性评估: 与其他最先进方法相比,CCGNet对伪装目标的预测更加准确和详细。它在定位和边界预测方面表现更佳,显著减少了像素分布不均的问题【31:10†source】【31:11†source】。

这些实验表明,CCGNet通过自适应特征融合、前景分离和边缘细化模块,有效地提高了伪装目标检测的性能。综合评估结果确认了其在多个基准和指标上优于现有方法的优越性能【31:12†source】【31:13†source】【31:14†source】。

5.结论

在本文中,作者提出了一种新的网络,CCGNet,用于伪装目标检测,它不需要额外的事先指导训练。提出了一种自适应融合多层特征生成伪装线索的特征融合模块。我们将伪装线索与前景分离模块相结合,该模块过滤融合的特征以将物体从背景中分离出来。最后,通过边缘细化模块融合上下文信息,对被伪装对象的边缘信息进行细化。通过对三个基准伪装数据集的综合实验,我们的模型优于其他最先进的方法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值