我愿称之无敌！频域+MLP暴力涨点方案！

2025深度学习发论文&模型涨点之——频域+MLP

近年来，频域分析方法（Fourier变换、小波变换、频域注意力机制等）在深度学习中的应用日益广泛，为传统空间域模型提供了新的优化视角。频域变换能够有效捕捉信号的全局频率特征，增强模型对长期依赖、噪声鲁棒性及多尺度模式的学习能力。与此同时，多层感知机（MLP）凭借其结构简洁、参数高效和并行计算优势，在视觉、时序预测等领域展现出强大的竞争力。

然而，传统MLP架构在空间域中直接建模长程依赖关系仍面临计算复杂度高、局部偏差累积等挑战。为此，研究者们探索将频域分析与MLP相结合，利用频域的低秩性和能量集中特性，优化特征表示并提升计算效率。例如，通过快速傅里叶变换（FFT）替代部分矩阵乘法，或在频域设计轻量级滤波机制，显著降低了模型的计算开销。此外，频域MLP（FMLP）架构通过频域稀疏化、频带注意力等策略，进一步增强了模型对关键频率成分的聚焦能力，在长序列建模、高分辨率图像处理等任务中表现优异。

我整理了一些频域+MLP【论文+代码】合集，需要的同学公人人人号【AI创新工场】发525自取。

论文精选

论文1：

Improved Implicit Neural Representation with Fourier Reparameterized Training

基于傅里叶重参数化训练的改进型隐式神经表示

方法

傅里叶重参数化方法：提出了一种基于傅里叶重参数化的训练方法，通过学习固定傅里叶基的系数矩阵来组成多层感知机（MLP）的权重，而不是直接从训练数据中学习权重。

理论分析：通过理论分析，证明了权重重参数化可以缓解MLP的低频偏差问题，从而提高隐式神经表示（INR）的准确性。

实验验证：在不同的INR任务中评估了所提出的傅里叶重参数化方法，包括简单的MLP、带有位置编码的MLP和带有高级激活函数的MLP等架构。

神经切线核（NTK）分析：利用NTK理论分析了傅里叶重参数化方法对训练动态的影响，证明了该方法能够使NTK矩阵的特征值分布更加平衡，从而缓解低频偏差。

创新点

缓解低频偏差：通过傅里叶重参数化，显著缓解了MLP的低频偏差问题，使得网络能够更好地学习高频成分，从而提高了隐式神经表示的准确性。例如，在2D图像逼近任务中，使用傅里叶重参数化方法的MLP在Kodak 24数据集上的平均PSNR值从21.33提升到了22.44。

提升训练效率：傅里叶重参数化方法不仅提高了表示的准确性，还加快了网络的收敛速度。在简单的1D函数逼近任务中，该方法显著提高了收敛速度，同时降低了训练误差。

适用性广泛：该方法可以应用于多种MLP架构，包括带有位置编码和高级激活函数的MLP，且不需要修改网络结构，具有广泛的适用性。

理论支持：首次将重参数化技术与网络训练偏差联系起来，从理论上证明了通过适当的重参数化可以缓解频率偏差，为未来研究提供了新的视角。

论文2：

FAN: Fourier Analysis Networks

傅里叶分析网络（FAN）

方法

傅里叶分析网络（FAN）：提出了一种基于傅里叶分析的新型通用神经网络FAN，通过将傅里叶原理融入网络结构和计算过程，使其能够有效处理周期性现象。

周期性建模：FAN通过引入傅里叶级数，使网络能够建模周期模式并进行外推，从而从数据中学习一般原则。

网络设计：FAN遵循两个核心原则：一是确保其周期建模能力随网络深度增加而增强；二是保证网络的每一层都能用于周期建模。

实验验证：通过在周期性建模任务和多个真实世界任务（如符号公式表示、时间序列预测、语言建模和图像识别）中的实验，验证了FAN的优越性。

创新点

周期性建模能力：FAN在周期性建模任务中表现出色，特别是在训练数据域外的泛化能力上，显著优于现有的通用神经网络，如MLP、KAN和Transformer。

参数效率：FAN在保持通用建模能力的同时，比MLP减少了参数数量和计算量（FLOPs）。例如，在语言建模任务中，使用FAN的Transformer模型在参数数量上减少了约14.16M，同时在IMDB数据集上的Loss降低了7.51%，Accuracy提高了5.78%。

适用性广泛：FAN不仅在周期性任务中表现出色，还在非周期性任务（如语言建模和图像识别）中取得了优异的性能，具有广泛的适用性。

可扩展性：在大规模语言模型（LLM）中，FAN展现出更好的可扩展性，仅需69.2%的参数即可达到与标准Transformer相当的性能。

论文3：

Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

频域MLP在时间序列预测中是更有效的学习者

方法

频域MLP（FreMLP）：提出了一种基于频域的MLP架构，通过将时间序列信号转换到频域进行学习，然后将学习结果转换回时域。

全局视图和能量压缩：频域MLP能够提供全局视图，更容易学习全局依赖关系，并且能够集中在关键的频率成分上，从而过滤噪声。

FreTS架构：FreTS架构包括两个阶段：域转换（将时间序列信号转换为频域）和频域学习（在频域中学习频率成分的实部和虚部）。

实验验证：在13个真实世界的时间序列基准数据集上进行了广泛的实验，验证了FreTS在短期和长期预测任务中的优越性。

创新点

全局视图和能量压缩：频域MLP能够捕捉更明显的全局周期模式，并且在学习权重时能够识别更清晰的对角依赖关系，从而提高预测性能。例如，在交通数据集上，频域MLP学习到的权重比时域MLP更清晰。

性能提升：FreTS在多个时间序列预测任务中取得了显著的性能提升。在短期预测任务中，FreTS在MAE和RMSE指标上平均分别提高了9.4%和11.6%。在长期预测任务中，FreTS在MAE和RMSE指标上平均分别降低了20%以上。

计算效率：FreTS的复杂度为O(N log N + L log L)，在参数数量和训练时间上显著优于现有的基于GNN和Transformer的方法。例如，在Wiki数据集上，FreTS的参数数量比AGCRN减少了30%，训练时间减少了20%。

适用性广泛：FreTS不仅在时间序列预测任务中表现出色，还可以应用于其他需要全局视图和能量压缩的领域。