狂发顶会的特征融合，再出神作！速度狂飙300％！速来抄作业！

特征融合再出神操作！作者通过逐元素相乘的方法，把输入映射到高维非线性特征空间，在准确率远超SOAT的同时，速度飙升300％，并被CVPR24收录。

除此以外，近来还出现了不少可圈可点的新思路！比如，基于频域做特征融合的MLWNet，运行时间直降60％；基于聚合函数做特征融合的SMFANet，FLOPs降低57％，速度提升10倍……

实际上，特征融合一直是重要的研究方向，也是高效涨点的抓手！它能将不同来源、不同类型的特征信息进行整合，为模型提供全面、丰富的数据表示。

因此，非常推荐想发论文的伙伴多关注。为方便大家研究的进行，我给大家梳理了10类前沿特征融合方法，除前文所提，还包括：注意力融合、卷积融合、嵌入融合、堆叠融合等。每种方法都提供了参考论文和源码，共33篇！

论文原文+开源代码需要的同学看文末

频域融合

将信号或图像从时域转换到频域，提取高频特征

Fourier-enhanced Implicit Neural Fusion Network for Multispectral and Hyperspectral Image Fusion

内容：论文介绍了一种名为FeINFN的新型网络，专门用于多光谱和高光谱图像融合MHIF任务。该网络利用傅里叶变换将隐式神经表示INR从空间域转换到频率域，以增强图像中的高频信息，并提出了一种新的解码器，使用复高斯小波激活函数来增强INR特征的交互。

注意力融合

 使用注意力机制对不同特征进行融合，以提高模型对重要特征的关注度。

Separable Self and Mixed Attention Transformers for Efficient Object Tracking

内容：论文提出了一种名为SMAT的轻量级目标跟踪架构，它利用可分离的自注意力和混合注意力变换器来有效地融合模板和搜索区域的特征，以生成更优越的特征编码，并通过对编码特征进行全局上下文建模来实现鲁棒的目标状态估计。SMAT在多个基准数据集上超越了相关轻量级跟踪器的性能，同时在CPU上以37帧每秒、GPU上以158帧每秒的速度运行，并具有3.8M的参数量。

卷积融合

 使用卷积操作对不同特征进行融合，适用于图像或序列数据的特征融合。

Asymmetric Convolution: An Efficient and Generalized Method to Fuse Feature Maps in Multiple Vision Tasks

内容：论文提出一种高效且通用的特征融合方法，通过在不同视觉任务中对特征图进行不对称卷积操作，增强特征表达能力，以提高多种视觉任务的性能。这种方法通过在特征融合过程中引入空间不对称性，使得网络能够捕捉到更加丰富的上下文信息，从而在诸如目标检测、图像分割等任务中取得更好的效果。

乘法融合

将不同特征相乘得到新的融合特征，适用于数值型特征的融合

Rewrite the Stars

内容：论文深入探讨了“星操作”（逐元素乘法）在神经网络设计中的潜力，揭示了其将输入映射到高维非线性特征空间的能力，类似于核技巧，但无需增加网络宽度。研究者们提出了一个名为StarNet的原型网络，该网络结构紧凑、效率高效，在低延迟下展现出了令人印象深刻的性能，验证了星操作在构建高效网络中的潜力。

嵌入融合

 使用嵌入模型将不同特征进行融合

MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

内容：论文介绍了一种名为MSGNet的深度学习模型，旨在捕捉多变量时间序列预测中不同时间尺度下的多变序列间相关性。MSGNet利用频域分析和自适应图卷积来提取显著的周期模式，并将时间序列分解到不同的时间尺度上。模型结合了自注意力机制来捕获序列内依赖关系，并引入了自适应混合图卷积层来自动学习每个时间尺度内的不同序列间相关性。通过在多个真实世界数据集上的广泛实验，论文展示了MSGNet的有效性，并证明了其在面对分布外样本时的强泛化能力。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【33特融】获取完整论文

👇