时序必读论文13｜ICLR24 “又好又快”的线性SOTA时序模型FITS

最新推荐文章于 2024-10-16 10:08:57 发布

科学最TOP

最新推荐文章于 2024-10-16 10:08:57 发布

阅读量933

点赞数 16

分类专栏：时间序列文章标签：人工智能算法 transformer 深度学习论文解读时间序列

本文链接：https://blog.csdn.net/u010681011/article/details/142600639

版权

时间序列专栏收录该内容

19 篇文章 2 订阅

订阅专栏

论文标题：FITS: Modeling Time Series with 10k Parameters

开源代码：https://anonymous.4open.science/r/FITS/README.md

前言

FITS（Frequency Interpolation Time Series Analysis Baseline）这篇文章发表于ICLR2024，也是之前SOTA的线性模型DLinear团队的最新论文。FITS的主要贡献在于基于傅立叶变换和低通滤波，通过在复频域内进行插值来操作时间序列，结合时域和频域优势，适用于边缘计算和实时分析任务，据作者所说，它具有大约10,000个参数。

我个人觉得，大家很要必要研读一下DLinear和FITS这两篇文章，不在于模型，而在于作者讲故事的能力和技巧。如何把一个结构简单的模型，放到一个特定的应用领域（边缘端）讲出来，特别是配合分析。

傅立叶变换

由于这篇文章的核心卖点之一就是进行了傅立叶变换，所以作者在论文中首先回顾了傅立叶变换的基本知识点，涉及时间序列数据从时域到频域的转换。

在傅里叶分析中，复频域是一种信号表示方法，其中每个频率分量都用一个复数来表征。这个复数包含了该频率分量的幅度和相位。频率分量的幅度代表了该分量在原始时域信号中的大小或强度。相对地，相位则表示了该分量引入的时间上的偏移或延迟。数学上，与频率分量相关联的复数可以表示为具有特定幅度和相位的复指数形式：

这里，𝑋(𝑓)是与频率分量 𝑓相关联的复数，∣𝑋(𝑓)∣ 是该分量的幅度，𝜃(𝑓) 是该分量的相位，而 𝑒^(𝑗𝜃(𝑓))是一个复指数，其中 𝑗 是虚数单位。如图 1(a) 所示，在复平面上，复指数元素可以被可视化为一个向量，其长度等于幅度 ∣𝑋(𝑓)∣，角度等于相位 𝜃(𝑓)。这个复指数同时包含了幅度和相位信息，使得我们能够全面地理解和分析信号的频率特性。

如果用三角函数表示，则如下公式，在这个表示中，cos⁡(𝜃(𝑓))和 sin⁡(𝜃(𝑓))分别是复数在复平面实轴和虚轴上的投影，而 𝑗是虚数单位。

𝑋(𝑓)=∣𝑋(𝑓)∣(cos⁡(𝜃(𝑓))+𝑗sin⁡(𝜃(𝑓)))

得到的复数特征由所有的频率分量组成，幅值最大的频率最能代表原始时域序列的周期。如果对该复数特征的每个频率分量进行复数域上的线性变换，使它和其他复数相乘，则会改变它的相位和幅值，如上图（b）。

FITS模型

关于模型推荐大家结合代码来看，非常清晰，FITS的流程如图所示：

首先对于长度为L的序列，作者首先进行了RIN归一化，目的是为了使序列均值为0，然后使用傅立叶变换rFFT把时域信息转到频域（复数域）。
然后，使用低通滤波器（LPF）将高频分量过滤掉，这部分在代码中是通过一个cut_freq参数来确定的。这样的好处在于能够去掉噪声，减少模型参数量。
之后，通过图中紫色部分的Complex-valued Linear Layer，这部分是一个上采样（线性层），相当于对频率特征做了线性变换，其长度取决于pred_len和seq_len的比例。
最后，将新的频率特征进行零pad，使用傅立叶逆变换irFFT转回时域。

从上面的流程来看，整个FITS的核心就是三部分：傅立叶变换、复频率线性插值和低通滤波。我们着重看一下低通滤波，即到底应该过滤掉多少高频的频域信息。