特征融合颠覆式创新！计算成本直降40%，准确率与性能双佳

相比传统的特征融合，动态特征融合能够依据输入数据的具体特性来调整融合策略，让模型在处理不同位置/尺度的特征时更加灵活，拥有更高的预测精度。

具体点讲，动态特征融合通过权值学习器为不同层次的特征在不同位置上分配了恰当的融合权重，有效捕捉特征图与原始输入图像之间的位置差异。另外，它还利用门函数基于多模态特征的实时属性来做出模态级或融合级的决策，这既降低了计算成本，又在保持准确率的同时提高了性能。

举个栗子：浙大等团队提出DyFPN。

DyFPN根据输入图像自适应地确定是否进行多重卷积，其特征将会根据输入来动态计算，因此可以提供更有效的动态推理。

在MS-COCO数据集上的实验结果表明，DyFPN实现了高检测精度，同时计算成本减少了约40%，显著提升了对象检测的效率和性能。

为帮助同学们理解，我这次分享了8种动态特征融合创新方案，代码已开源，论文可参考创新点做了简单分析，具体工作细节可阅读原文。

论文原文以及开源代码需要的同学看文末

D-Net: Dynamic Large Kernel with Dynamic Feature Fusion for Volumetric Medical Image Segmentation

方法：论文介绍了一种用于三维体积医学图像分割的D-Net模型，该模型结合了动态大核模块和动态特征融合模块，并将其嵌入到一个分层变压器架构中。动态大核模块用于多尺度局部特征提取和自适应全局空间信息利用，动态特征融合模块用于自适应特征融合。

创新点：

• 提出了Dynamic Large Kernel（DLK）模块和Dynamic Feature Fusion（DFF）模块。这些模块能够自适应地捕捉多尺度特征并有效地利用全局上下文信息。

• 将DLK和DFF模块集成到分层Transformer架构中，形成了一种名为D-Net的新架构。D-Net能够有效地利用多尺度大感受野，并自适应地利用全局上下文信息。

Dynamic Feature Fusion for Semantic Edge Detection

方法：论文提出了一种新的动态特征融合策略，用于解决现有语义边缘检测模型中固定权重融合策略的局限性。该模型通过两个模块对多层特征进行融合：特征提取器带有一个标准化器，用于将多层特征的幅度尺度进行标准化，自适应权重融合模块用于学习不同位置的多层特征图的自适应融合权重。

创新点：

• 提出了一种动态特征融合方法，通过为不同的输入图像和位置自适应地分配不同的融合权重，以更好地考虑特征图的不同位置和输入图像的贡献，从而产生更准确和更清晰的边缘预测。

• 设计了一种位置自适应的权重学习器，根据每个空间位置的特征图内容主动学习定制的融合权重。该学习器可以根据不同位置的特征图自适应地调整融合权重，以更好地利用准确定位的边缘和抑制对象内部的细碎和无关紧要的边缘响应。

Adaptive Feature Fusion for Cooperative Perception using LiDAR Point Clouds

方法：本文研究了基于LiDAR点云数据的协同感知，旨在解决传统目标检测过程中的一些限制，如传感器分辨率和目标遮挡。研究提出了可训练的神经网络模块进行中间特征融合的自适应特征融合模型，并通过多个实验验证了模型的优越性。

创新点：

• 提出了自适应特征融合模型：作者提出了一种可训练的神经网络，用于选择特征。这些特征融合模型被分为空间特征融合和通道特征融合两种。

• 创建了轻量级的协作感知架构：作者提出了一种具有中间融合的协作感知架构，用于改善传统的物体检测过程中的一些局限性，如盲区、低分辨率和天气影响。

AFPN: Asymptotic Feature Pyramid Network for Object Detection

方法：论文提出了一种名为Asymptotic Feature Pyramid Network (AFPN)的方法，旨在解决由于非相邻层之间的间接交互造成的信息丢失和退化问题。AFPN通过渐进的方式进行特征融合，并引入自适应空间融合操作以在融合过程中提取更有用的信息。

创新点：

• AFPN提出了一种渐进特征金字塔网络，实现了不相邻层级之间的直接特征融合，从而避免了特征信息在传输和交互过程中的丢失或退化。

• AFPN引入了自适应空间融合操作，在多层特征融合过程中，通过对特征的加权操作，抑制了不同层级特征之间的矛盾信息。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“动态融合”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏