频域+特征融合这么做，竟能发Nature？！

最新推荐文章于 2025-05-19 20:14:50 发布

Ai墨芯111

最新推荐文章于 2025-05-19 20:14:50 发布

阅读量881

点赞数 16

文章标签：深度学习 transformer YOLO cnn 人工智能

本文链接：https://blog.csdn.net/Aimoxin111/article/details/147117308

版权

2025深度学习发论文&模型涨点之——频域+特征融合

滤波：通过在频域中设计滤波器，可以去除信号中的噪声或保留特定频率范围内的信号成分。例如，在图像处理中，低通滤波器可以去除高频噪声，平滑图像；高通滤波器可以增强图像的边缘信息。
特征提取：频域中的某些特征可以更好地描述信号的特性。例如，语音信号的频谱特征（如梅尔频率倒谱系数MFCC）可以用于语音识别，因为它们能够很好地反映语音的音色和语调等信息。
信号分析：频域分析可以帮助我们理解信号的频率结构，从而更好地分析信号的性质和行为。例如，在生物医学信号分析中，通过分析心电图（ECG）信号的频谱，可以诊断心脏疾病。

小编整理了一些频域+特征融合【论文】合集，以下放出部分，全部论文PDF版皆可领取。

需要的同学

回复“ 频域+特征融合”即可全部领取

论文精选

论文1：

RTFS-Net Recurrent Time-Frequency Modelling for Efficient Audio-Visual Speech Separation

RTFS-Net：用于高效音视频语音分离的循环时频建模

方法

时间-频率域音频处理：提出了一种基于时间-频率域的音频处理方法，通过短时傅里叶变换（STFT）将音频信号转换为复数时间-频率二元组，并在此基础上进行算法处理。

多层循环神经网络（RNN）：使用多层RNN分别对时间维度和频率维度的音频特征进行独立建模，以捕获音频的时间和频率信息。

注意力融合技术：引入了一种基于注意力机制的音频和视觉信息融合技术，通过多头注意力机制高效地整合音频和视觉特征。

创新点

时间-频率独立建模：通过将音频的时间和频率维度分别建模，显著提高了语音分离的性能，同时减少了模型的参数数量和计算复杂度。

注意力融合技术：通过多头注意力机制，能够更有效地整合音频和视觉信息，提高了模型对目标说话人的识别能力。

掩码分离方法：利用复数乘法进行掩码分离，避免了传统掩码方法中幅度和相位信息的丢失，从而提高了分离语音的清晰度。

论文2：

Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement

空间-频率双域特征融合网络用于低光照遥感图像增强

方法

空间-频率双域融合：提出了一种双域特征融合网络（DFFN），将低光照图像增强任务分为两个阶段：幅度照明阶段和相位细化阶段，分别学习幅度信息以恢复图像亮度和相位信息以细化细节。

信息融合仿射模块（IFAM）：设计了一个信息融合仿射模块，用于整合不同阶段和尺度的特征信息，通过动态融合和仿射滤波实现自适应学习。

双域幅度块（DDAB）和双域相位块（DDPB）：分别为幅度照明阶段和相位细化阶段设计了双域块，用于整合空间域和频率域的特征信息。

创新点

双域融合：通过空间域和频率域的特征融合，有效解决了低光照图像增强中的亮度恢复和细节细化问题。

信息融合模块：通过IFAM模块，实现了不同阶段和尺度特征的动态融合，增强了模型对全局上下文的表示能力。

傅里叶变换的应用：利用傅里叶变换的全局信息提取能力，避免了传统CNN在处理高分辨率图像时的局限性。

论文3：

STeInFormer Spatial-Temporal Interaction Transformer Architecture for Remote Sensing Change Detection

STeInFormer：用于遥感变化检测的空间-时间交互Transformer架构

方法

空间-时间交互Transformer：提出了一种新的空间-时间交互Transformer架构（STeInFormer），用于多时相特征提取，首次将空间和时间维度的交互融入特征提取过程中。

交叉时间交互器（CTI）：通过门控机制强调感兴趣的变化，同时抑制非感兴趣的变化，提高了特征提取的针对性。

交叉空间交互器（CSI）：基于U型架构，整合语义信息和空间细节，提高了特征表示的鲁棒性。

创新点

空间-时间交互：通过CTI和CSI模块，实现了空间和时间维度的交互，提高了特征提取的鲁棒性和区分能力。

多频率混合器：首次从频率域角度解决遥感变化检测问题，通过多频率混合器整合频率域特征，提高了模型的表达能力。

论文4：

Temporal Lift Pooling for Continuous Sign Language Recognition

连续手语识别中的时间提升池化

方法

时间提升池化（TLP）：从信号处理中的提升方案（Lifting Scheme）推导出TLP，用于智能地对不同时间层次的特征进行下采样。

三阶段流程：TLP包括信号分解、组件加权和信息融合三个阶段，逐步分解输入信号并重新加权其组件以生成统一的输出。

提升过程：通过预测和更新函数将输入信号分解为低频和高频子带，分别对应主要运动模式和详细动态。