高效涨点神器！自适应特征融合分分钟发A会

2024深度学习发论文&模型涨点之——自适应特征融合

自适应特征融合（Adaptive Feature Fusion）是一种深度学习中的特征处理技术，它通过动态调整特征融合过程来提高模型的泛化能力和性能表现。

近年来，深度学习模型在计算机视觉、自然语言处理和语音识别等各个领域取得了显着的成功。然而，这些模型的泛化能力可能会受到其特征融合技术的局限性的负面影响。自适应特征融合 (AFF)，通过动态适应特征表示的融合过程来增强深度学习模型的泛化能力。拟议的 AFF 框架旨在将融合层合并到现有的深度学习架构中，从而实现无缝集成并提高性能。通过结合数据驱动和基于模型的融合策略，AFF 能够根据底层数据特征和模型需求自适应地融合特征。

我整理了一些自适应特征融合【论文+代码】合集，需要的同学

论文精选

论文1：

Adaptive-Mask Fusion Network for Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Features

自适应掩模融合网络用于具有不可靠特征的可行驶道路和负障碍物分割

方法

适应性掩模融合（AMF）模块：在融合模块中引入自适应权重掩模，以融合RGB和深度图像中存在不一致性的特征。

掩模生成：从深度图像生成掩模，以区分可信和不可信区域。

特征融合：在可信区域使用自适应权重融合RGB和可信深度特征，在不可信区域则直接使用RGB特征。

创新点

性能提升：AMFNet在RGB-深度融合模态下的结果优于单一RGB模态，解决了由于深度图像中的不可靠特征而导致的多模态融合性能下降的问题。

数据集发布：发布了基于NPO数据集的大规模RGB-深度数据集，包含8,752张RGB-深度图像，并手动标注了可行驶道路和负障碍物分割的地面真实数据。

损失权重调整：计划在未来的工作中提高负障碍物类别的损失权重，以提高该类别的分割准确性。

论文2：

[WACV] ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery

ShadowSense：用于从 RGB-热成像无人机图像中检测无视阴影的树冠的无监督领域适应和特征融合

方法

领域对抗训练：利用领域对抗训练进行自监督学习，无需源域注释。

前景特征对齐：通过特征金字塔网络对齐前景特征，以适应领域不变表示。

特征融合：在推理阶段融合RGB和热成像模态的背景区域特征。

创新点

无视阴影检测：提出了一种新颖的方法ShadowSense，能够利用RGB-热成像的互补信息，提高在各种照明条件下的树冠检测的准确性和适应性。

数据集规模：提供了一个包含约50k对RGB-热成像图像的挑战性数据集，促进未来研究。

性能提升：与基线RGB训练检测器和依赖无监督领域适应或早期图像融合的最先进技术相比，ShadowSense在检测被阴影遮挡的树木方面表现出优越性，将检测成功率提高了19.09%。

论文3：

[CVPR] DETRs Beat YOLOs on Real-time Object Detection

DETRs 在实时目标检测上超越 YOLOs

方法

RT-DETR设计：提出了Real-Time DEtection TRansformer（RT-DETR），这是一种端到端的目标检测器，通过两步构建，首先关注在保持准确性的同时提高速度，然后是在保持速度的同时提高准确性。

高效混合编码器：设计了一个高效的混合编码器，通过解耦同尺度交互和跨尺度融合来快速处理多尺度特征，以提高速度。

不确定性最小查询选择：提出了不确定性最小查询选择机制，为解码器提供高质量的初始查询，从而提高准确性。

创新点

实时端到端目标检测器：据我们所知，RT-DETR是第一个实时端到端目标检测器，它在速度和准确性上都超越了之前先进的YOLO检测器。

速度提升：RT-DETR-R50/R101在COCO数据集上分别达到了53.1%/54.3%的平均精度（AP）和108/74 FPS的帧率，超越了之前先进的YOLO检测器。

准确性提升：RT-DETR-R50在准确性上比DINO-R50高出2.2%的AP，并且在FPS上快了约21倍。

论文4：

AFFSegNet: Adaptive Feature Fusion Segmentation Network for Microtumors and Multi-Organ Segmentation

AFFSegNet：自适应特征融合分割网络用于微肿瘤和多器官分割

方法

增强的多层感知机：在编码器中引入，以显式建模特征提取过程中的长距离依赖性。

增强前馈网络（EFFN）：与编码器配合，以补充其功能。

创新点

AFFSegNet模型：结合了ResUnet和Swin-transformer的优势，通过整合窗口注意力、空间注意力、U形结构和残差连接，实现高效分割，性能提升显著，例如在LiTS2017数据集上DSC达到95.47%，mIoU达到94.88%。

自适应特征融合（AFF）解码器：通过融合不同尺度的特征图来捕获多尺度局部和全局信息，最大化窗口注意力的协同潜力，性能提升显著，例如在ISICDM2019数据集上DSC达到96.75%，mIoU达到96.04%。