qq_64693987的博客

在一些特定情况下，目标检测任务由于多种因素的影响，变得更加复杂和困难。以下是几类常见的困难目标检测场景：1. 小目标检测定义：小目标检测是指当目标在图像中的占比非常小时，模型需要准确识别和定位这些目标。典型场景包括远程监控、卫星图像分析等。挑战1. 低分辨率：由于目标在图像中占据像素较少，细节缺失，特征提取难度增加。2. 特征不足：小目标缺乏明显的形状和纹理特征，容易被复杂背景淹没。3. 检测难度大：由于小目标与背景之间的对比度较低，误检的几率上升。4. 数据不平衡。

SAFMN（Spatial Adaptive Feature Modulation Network）即空间自适应特征调制网络。它是一种用于图像超分辨率（SR）的深度学习网络架构。在深度学习的图像超分辨率领域，虽然基于深度学习的方法能取得很好的重建效果，但往往模型复杂且庞大，不适合在低功耗设备上运行。SAFMN 旨在解决这一问题，提供一种高效的图像超分辨率方案。SAFMN 中的关键组件是空间自适应特征调制层（SAFM 层）。它通过独立计算来学习多尺度特征表示。

SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。通道分割与初步处理首先对归一化的输入特征进行通道分割操作，产生四个部分组件。其中一个部分用深度卷积进行处理。其余三个部分则被送入多尺度特征生成单元，经过下采样、卷积和上采样等操作来生成多尺度特征。多尺度特征整合。

输入特征拆分：输入特征进入 CGA 模块后，被均匀拆分为个部分，每个部分作为一个注意力头的输入，这样每个头关注输入特征的不同部分，实现特征的并行处理，同时为提高注意力多样性奠定基础。注意力头计算单元：每个注意力头包含三个线性投影层、、用于将输入特征映射到不同子空间，以及计算自注意力的单元。在计算过程中，通过注意力头之间的级联操作，前一个头的输出会累加到下一个头的输入上，实现特征的逐步细化。

缺失关系复杂无法LKA。

FRFN 是一种专门设计的深度学习结构，旨在提高图像处理任务中的特征表示能力。它的核心设计理念是通过逐层细化和优化特征图，从而实现更高的分类和检测精度。1. 特征提取层：通过卷积层提取初始特征，并进行批量归一化以增强稳定性。2. 特征细化模块：在每个模块中，当前层特征图与前一层特征图进行融合，以强化特征表示。3. 跳跃连接：通过跳跃连接保留多尺度信息，帮助缓解深层网络中的信息丢失。4. 非线性激活：使用激活函数（如ReLU）增加模型的非线性能力。5. 输出层。

它主要是为了解决 Transformer 中原始前馈网络（FFN）单尺度特征聚合的局限性。原始 FFN 在进行特征处理时，仅从单一尺度聚合信息，所包含的信息有限，无法充分挖掘和利用图像中的多尺度特征，从而影响了去噪等任务的性能。采用两个卷积来扩展特征通道。这种操作可以增加特征的维度，为后续的多尺度处理提供更丰富的信息基础。扩展比率，意味着经过这两个卷积操作后，特征通道数量会按照相应比例增加。2.输入特征在两条并行路径中进行处理。引入门控机制来增强非线性变换。具体通过两条路径特征的。

Inception Depthwise Convolution 是 InceptionNeXt 网络中的核心创新之一，其主要目的是在保持大感受野的前提下，通过拆解大核卷积来提升计算效率。Inception Depthwise Convolution 通过将大核卷积拆解为多个并行分支，从而避免了直接使用大核卷积的高计算开销。1. 小核卷积：第一个分支使用 3x3 的小核卷积来处理局部特征。这种卷积操作相对计算成本较低，但仍能保留细节信息.2. 带状卷积: 水平带状卷积 (1x11)

SMFA（自调制特征聚合模块）： SMFA模块用于协同建模局部和非局部信息，它分为两个分支：一个是EASA（Efficient Approximation of Self-Attention，简化的自注意力分支），用于捕获非局部信息；另一个是LDE（Local Detail Estimation，局部细节估计分支），用于捕获局部细节。EASA通过对输入特征进行下采样，然后利用全局特征的方差进行调制，再与原始特征进行聚合，提取非局部结构信息。LDE分支则通过卷积操作提取输入特征中的高频局部信息。

MDFM主要用于融合双时相图像特征并生成带有丰富上下文信息的差异特征，其过程包含以下步骤：1. 特征提取与差异特征生成首先从双时相图像中提取特征f1和f2，然后将f1和f2进行像素级别的相减，再对相减结果取绝对值，最后通过一个3x3的卷积操作得到Di。2. 多尺度特征融合（MSFF）接着利用多尺度特征学习机制来增强特征融合效果。该机制通过不同核大小的卷积构建多尺度融合过程，具体是通过一个名为 MSFF 单元来实现的。

Context Guided block 的主要目的是通过结合局部特征和全局上下文信息来增强特征表示。这种机制在计算机视觉任务中非常有用，例如目标检测和图像分割，因为它可以帮助模型更好地关注重要区域并抑制无关背景。图中的 (a) 部分展示了输入图像，其中红色框标出了感兴趣的区域。首先，通过一系列卷积操作（如 1x1 Conv 和 3x3 Conv）来提取局部特征。这些操作帮助捕获局部区域的细节信息。图中的 (b) 部分展示了局部特征提取的过程。

CAFM 旨在融合卷积神经网络（CNNs）和 Transformer 的优势，通过结合局部特征捕捉能力（卷积操作）和全局特征提取能力（注意力机制），对图像的全局和局部特征进行有效建模，以提升检测效果。1.1 局部分支1. 通道调整：首先使用卷积调整通道维度。卷积可以在不改变特征图的宽和高的情况下，对通道数进行灵活调整，这有助于后续操作更好地处理特征信息。2.通道混洗操作：接着进行通道混洗操作。

有效提取全局信息：通过使用大核深度可分离卷积替换普通卷积，先利用大核的深度可分离卷积提取每个通道的全局信息，再借助残差连接，解决了卷积网络难以提取全局信息的问题。保持轻量化优势：深度可分离卷积本身相比普通卷积能有效减少网络参数和计算成本，并且通过合理设计，如倒置瓶颈设计等，在提取全局信息的同时保持了网络的轻量化，使得网络既能够提取全局信息，又适合在移动和边缘设备上部署。综合利用归纳偏置和全局信息提取。

对来自backbone的特征进行细化处理。通过空间和通道两个路径的操作，增强了空间和通道方面的特征信息，使得输出的特征图在空间和通道维度上都更加优质。1. 在空间细化路径中，通过对不同核大小的卷积进行求和以及一系列的空间特征聚合操作，实现了多尺度空间信息的融合。2. 在通道聚合路径中，通过全局平均池化、卷积和激活等操作生成通道注意力图，并与空间细化后的图相结合，实现了通道维度上的多尺度信息融合。

是一种基于通道压缩的自注意力机制，主要应用于语义分割中的全局特征捕捉。CRA的设计通过将查询（Query）和键（Key）压缩到一维，显著降低了计算复杂度，从而减少了计算资源的消耗。多头自注意力机制：CRA基于多头自注意力（Multi-Head Self-Attention, MHSA），每个注意力头独立计算全局相似性，并将不同头的结果合并，以增强模型对不同特征的表达能力。输入特征被划分为多个注意力头，每个头的维度是一定的。通道压缩使得查询和键的维度分别降低，从而减少了计算复杂度。查询和键的生成及通道压缩。

频谱信息聚合：首先，以特征图的幅度谱和相位谱作为输入。对其进行逐点卷积操作，然后经过激活函数处理，实现频谱信息的初步聚合。计算通道权重：接着，以聚合后的频谱信息为输入。先进行全局平均池化，再经过多次卷积和激活函数操作，最后通过特定激活函数得到通道权重映射。应用通道权重：之后，将通道权重映射与之前聚合的频谱信息进行点乘，再通过卷积操作，然后利用残差连接进行滤波，从而得到滤波后的频谱信息，包括幅度谱和相位谱。映射回空间域。

PCFN（基于部分卷积的前馈网络）： PCFN采用部分卷积来减少计算冗余，并通过跨通道交互来增强特征表示。具体地，PCFN首先通过1×1卷积进行通道交互，然后将特征分割为两部分，对其中一部分进行3×3卷积处理，最后再将两部分特征融合，生成更具代表性的输出特征。PCFN不仅能够在通道维度上实现特征融合，还能够在空间维度上对特征进行局部编码，从而进一步提高图像的特征。

RCS(ReparameterizedConvolution based on channel Shuffe)是受ShuffeNet启发设计的。输入张量被分成两个具有相同维度的通道张量，一个用于身份分支、1x1卷积和3x3卷积的训练阶段，另一个在推理阶段通过结构重参数化转换为3x3 RepConv。多分支拓扑结构:在训练阶段，多分支拓扑结构可以学习丰富的特征信息，而在推理阶段，简化的单分支结构可以节省内存消耗实现快速推理。

自适应阈值焦点损失（Adaptive Threshold Focal Loss，ATFL）是一种用于目标检测和分割任务的损失函数，旨在解决类别不平衡问题并提高模型对难以分类样本的关注。ATFL 的设计灵感源自焦点损失（Focal Loss），后者通过降低易分类样本的损失权重来集中模型的注意力于难以分类的样本上。自适应性：ATFL 根据每个样本的特征和模型的输出自适应地调整损失权重。它能够动态地根据预测结果和真实标签之间的差异，调整阈值，使得模型在训练时更加关注难以分类的样本。焦点机制。

1. 卷积操作:通过1X1逐点卷积和3X3深度卷积对输入特征进行初步处理，以获取用于后续计算的特征q k v。2. 傅里叶变换:利用快速傅里叶变换（FFT）及其逆变换（IFFT）将特征从空间域转换到频域，并在频域中进行相关性计算。3. 归一化操作:使用层归一化（Layer Norm）对计算得到的相关性结果进行归一化处理，以便更好地估计聚合特征。最后通过一个的卷积操作将原始输入特征和估计的聚合特征相结合，生成最终的输出特征。

1.1. 多分支特征提取1.多分支策略:PPA 采用并行多分支方法，包含局部、全局和串行卷积三个分支。这种设计可以提取不同尺度和层次的特征，有助于捕获目标的多尺度特征，进而提高小目标检测的准确性。2. 具体操作: 首先对输入特征张量进行逐点卷积调整。然后分别通过三个分支进行计算，最后将三个分支的结果相加。

SAFM 是一种空间自适应特征调制机制，它主要应用于图像超分辨率任务中。通过对输入特征进行动态调制，SAFM 能够自适应地选择代表性的特征表示，从而更好地恢复图像的细节和清晰度。这种机制的核心在于它能够从多尺度的角度处理特征，同时考虑局部和全局的信息，使得生成的特征更加具有判别性和鲁棒性。标准卷积(standard Convolution):同时对输入特征图进行特征提取和通道融合，计算成本由输入输出通道数、卷积核大小及维度相关公式计算，是一种基础的卷积方式3。

MLCA(混合局部通道注意力)是一种轻量级的注意力机制，旨在提高目标检测网络的性能。它结合了局部和全局特征以及通道和空间特征的信息，以增强网络对有用特征的捕捉能力。具体来说，MLCA首先对输入特征图进行局部和全局平均池化，然后通过1D卷积进行特征转换。局部池化后的特征与原始输入特征相结合，全局池化后的特征则与局部池化特征相结合，最终通过反池化恢复到原始空间维度。这种方法在保持计算效率的同时，显著提高了检测精度。

Deformable Large Kernel Attention (DLKA) 是一种用于视觉任务的注意力机制，旨在提升模型在处理不同尺寸和形状对象时的灵活性和性能。DLKA 的设计灵感源自传统的注意力机制，但通过引入可变形核（deformable kernel）来增强对局部特征的适应能力。

是一种改进的注意力机制，旨在解决大卷积核带来的计算和内存开销问题。分离卷积核：LSKA将2D卷积核分解为水平和垂直的1D卷积核，减少了计算复杂度和内存占用。结合局部和全局信息：通过级联的1D卷积核，LSKA能够同时捕捉局部和全局的特征信息。计算效率：相比传统的大卷积核设计，LSKA显著降低了计算复杂度，尤其是在处理大尺寸卷积核时。这种设计使得LSKA在保持高性能的同时，显著减少了计算和内存开销，适用于各种视觉任务，如图像分类、目标检测和语义分割。

弥补信息丢失：H-RAMi旨在减轻层次化结构中的下采样引起的像素级信息丢失。它通过对编码器不同阶段的多尺度注意力进行上采样，确保网络能保持关键的细节信息。融合多尺度与双维度注意力：H-RAMi将来自不同尺度和维度（空间和通道）的注意力进行融合，捕捉更丰富的语义信息。这一融合发生在层归一化之前，确保混合后的注意力在后续处理中仍然有效。提高模型鲁棒性：H-RAMi层在提高模型鲁棒性方面表现突出，特别是在一些需要精确边界的任务中（如图像去噪）。该层在提升性能的同时仅增加了少量计算资源​。

左边是SEAM的架构，右边是部分为通道和空间混合模块CSMM的结构。CSMM利用深度可分卷积来学习不同尺度的特征空间尺度与通道的相关性。SEAM是一种自集成注意力机制，旨在通过多视角特征融合和一致性正则化来增强模型的鲁棒性和泛化能力。首先对输入特征Patch Embedding输入图像被分割成不同大小的patch（6, 7, 8），这些patch通过Patch Embedding层进行初步处理，生成特征表示。CSMM模块深度可分离卷积：使用深度可分离卷积来学习空间维度和通道之间的相关性。深度卷积。

非局部注意力机制是一种有效捕捉输入特征图中所有位置之间关系的方法。它特别适合处理需要全局上下文信息的任务。与传统卷积神经网络（CNN）相比，非局部块不再局限于局部邻域的特征。非局部注意力机制通过在全局范围内捕捉特征图中所有位置的相互关系来提升模型性能。该机制的核心是通过三个分支（θ、ϕ、g）生成降维后的特征表示，用于计算特征之间的相似性并进行加权。θ分支：将输入特征降维到 512 通道，用于生成查询向量（query）。ϕ分支：同样降维为 512 通道，用于生成键向量（key），用于与查询向量计算相似性。

基于视觉神经科学理论，为每个神经元定义能量函数通过最小化这个能量函数，找到目标神经元与其他神经元的线性可分性，从而确定神经元在视觉处理中的重要程度。2. 特征精炼部分：缩放算子应用：根据哺乳动物大脑中注意力调制表现为对神经元反应的增益效应，使用缩放算子进行特征精炼。具体来说，通过来实现，其中包含所有通道和空间维度的（即每个神经元的最小能量），函数用于限制中的过大值，以确保特征精炼的合理性。

SHSA通过仅对部分输入通道应用单头注意力，减少了计算冗余和内存访问成本。部分通道处理：仅对部分输入通道（默认比例为1/4.67）应用注意力层，其余通道保持不变。全通道投影：最终的投影应用于所有通道，确保注意力特征有效传播到所有通道。简化操作：减少内存绑定操作，提高了计算效率。

本文介绍了一种新的空间池化策略，称为，用于场景解析。结构：包括两个平行路径，分别进行水平和垂直方向的条带池化，然后通过1D卷积层进行特征调整。：结合了条带池化和传统的空间池化，分别用于捕捉长距离和短距离的依赖关系。作用捕捉长距离依赖：通过长条形的池化窗口，有效捕捉分布离散的区域之间的关系。避免不相关信息干扰：窄条形的池化窗口有助于捕捉局部上下文，防止不相关区域干扰标签预测。提高场景解析性能：在多个基准数据集上，证明了这种方法能够显著提升场景解析的效果。

1.首先，WTConv利用二维Haar小波变换对输入图像进行多级分解。低频分量 (LL)：捕捉图像的低频信息，如整体形状或轮廓。水平高频分量 (LH)：捕捉图像中的水平边缘信息。垂直高频分量 (HL)：捕捉图像中的垂直边缘信息。对角线高频分量 (HH)：捕捉图像的对角线细节。在每一级的小波变换中，图像被下采样（空间分辨率减半），但频率信息得到了更细的分解。递归地执行小波变换（称为多级分解）可以得到不同尺度下的频率分量。

空间重建单元 (SRU)和通道重建单元 (CRU)。它们按照顺序组合使用，首先通过SRU减少空间维度上的冗余，然后通过CRU减少通道维度上的冗余。SCConv可以无缝集成到现有的CNN中，用于替代标准卷积操作​(Li_SCConv_Spatial_and_C…)。

Histogram Transformer Block（HTB）是一个专门为解决恶劣天气图像退化问题设计的模块，其核心思想是利用动态范围直方图自注意力机制来对图像中的退化区域进行有效处理。动态范围直方图自注意力（DHSA）和双尺度门控前馈网络（DGFF），它们共同用于从受天气影响的图像中提取特征。动态范围直方图自注意力（DHSA）直方图分类：根据像素的强度值将其分类到不同的直方图箱中，从而在这些强度基础的箱内和箱间应用自注意力机制。

RCM是专为语义分割等任务设计的上下文增强模块，旨在通过捕捉水平和垂直全局上下文信息，提升模型对前景物体的建模能力。1. 矩形自校准注意力机制：通过水平和垂直池化操作，生成矩形注意力区域，用以捕捉关键的上下文信息。这些区域通过加权机制使模型更加聚焦前景对象。2. 形状自校准：通过大核卷积调节矩形注意力区域的形状，使其更贴近前景物体，提升模型的前景定位精度。3. 局部细节融合：通过深度卷积进一步增强局部特征的细节表示，使得模型在边界识别和小物体检测中表现更好。

BiFormer 旨在通过双层路由注意力机制（Bi-level Routing Attention, BRA）实现动态、查询感知的稀疏注意力。双层路由注意力机制区域级路由：首先在粗粒度的区域级别过滤掉大部分不相关的键值对，仅保留少量相关区域。细粒度注意力：在保留的区域内进行细粒度的token-to-token注意力计算。Biformer的实现步骤区域划分和输入投影：将输入特征图划分为多个不重叠的区域，并通过线性投影生成查询、键和值张量。区域间路由。

现有的上采样方法如等，依赖于动态卷积来生成上采样的内容感知核，但这些方法需要额外的子网络生成动态卷积核计算量较大。尤其是 FADE 和 SAPA 需要高分辨率的特征图作为引导，进一步增加了计算负担，并限制了应用场景。DySample的核心思想是将上采样过程重新定义为点采样（Point Sampling）。通过学习输入特征图中的采样点坐标，DySample 生成内容感知的采样点来对特征图进行重新采样，而不是使用动态卷积核。具体实现步骤如下：​​1. 输入特征图：大小为 C×H×W的输入特征图。

Adaptive Sparse Self-Attention（ASSA）是自适应稀疏Transformer（AST）模型中的关键组件，主要用于提升图像恢复任务的性能。ASSA的设计旨在减少标准Transformer模型中由于无关区域引入的噪声交互，同时解决特征冗余问题。稀疏自注意力（SSA）：使用基于ReLU的稀疏注意力机制，过滤掉查询与键之间低匹配的无关交互。这可以减少无效特征的参与，帮助聚焦在最有价值的信息交互上。

下图展示了Down_wt卷积的结构。通过Haar小波变换，该卷积模块实现了高效的特征提取和降采样。Down_wt 模块的设计Down_wt模块的核心功能是执行小波变换，并将变换后的结果与卷积层结合。小波变换：使用DWTForward类进行小波变换，提取低频和高频成分。特征拼接：将低频成分和三个高频成分（水平、垂直和对角）拼接在一起，形成新的输入。卷积层：通过1x1卷积、批量归一化和ReLU激活函数处理拼接后的特征。