北大：傅立叶分析网络增强周期性特征建模

📖标题：FAN: Fourier Analysis Networks
🌐来源：arXiv, 2410.02675

摘要

🔸尽管神经网络，特别是以MLP和Transformer为代表的神经网络取得了显著的成功，但我们发现，它们在周期性的建模和推理方面存在潜在的缺陷，即它们倾向于记忆周期性数据，而不是真正理解周期性的基本原理。然而，在各种形式的推理和泛化中，周期性是一个关键特征，通过观测中的重复模式支撑着自然和工程系统的可预测性。
🔸在本文中，我们提出了一种基于傅里叶分析的新型网络架构FAN，它能够有效地对周期性现象进行建模和推理。通过引入傅里叶级数，周期性自然地融入了神经网络的结构和计算过程中，从而实现了周期性模式的更准确表达和预测。作为多层感知器（MLP）的有前景的替代品，FAN可以用更少的参数和FLOP无缝地替换各种模型中的MLP。
🔸通过广泛的实验，我们证明了FAN在周期函数建模和推理方面的有效性，以及FAN在一系列现实世界任务中的优越性和可推广性，包括符号公式表示、时间序列预测和语言建模。

🛎️文章简介

🔸研究问题：现有神经网络难以在数据中建模周期性特征。
🔸主要贡献：论文提出了一种基于傅里