【论文阅读】2022-ICML FEDformer

2022 ICML 阿里达摩院

1. 简介

论文提出了名为FEDformer的时序预测模型，通过在模型中结合季节趋势分解，以及利用傅立叶分析，在频域中使用Transformer，从而使模型更好的捕获时间序列的全局信息，进而取得更好的预测效果。

1.1 动机

transformer相关模型存在的问题

• 计算复杂度高
• 无法捕获时间序列的全局信息

如图1所示，图中对比了真实值和transformer模型预测值，可以看出两者分布有明显差异。论文认为主要原因是Transformer预测时，每个输出时间步都是独立和没有依赖的进行预测的，模型没有捕获时序的全局信息。

1.2 论文工作和贡献

论文主要提出了两个想法：

1. 将季节性趋势分解结合到模型中
2. 将傅立叶分析与Transformer-based模型结合起来。在频域中使用Transformer，可以使其更好的捕获序列的全局信息

PEDformer的一个关键问题是傅里叶分析应该使用哪个频率分量子集来表示时间序列。一个常用做法是保留低频成分，丢弃高频成分，但是这可能不适用于时间序列预测，因为时间序列中的一些趋势变化与重要事件有关，如果简单地删除所有高频成分，这部分信息可能会丢失。论文通过利用“时间序列倾向于在一些基上具有稀疏表示（例如傅立叶基）”这一事实来解决这个问题。通过理论分析，随机选取频率分量子集，包括低频分量和高频分量，可以更好地表示时间序列。

除了对长期预测更有效外，将Transformer与频率分析相结合还可以将Transformer的计算成本从二次复杂度降低到线性复杂度。这与以前加速Transformer的方法不同，后者通常会导致信息丢失进而导致性能下降。

论文的贡献：

1. 为了更好地捕捉时间序列的全局特性，将季节趋势分解结合进来，提出了一种频率增强Transformer架构；
2. 在Transformer结构中提出了傅立叶增强模块和小波增强模块，通过频域映射捕获时间序列中的重要结构。它们可以作为 self-attention 和 cross-attention 的替代；
3. 该模型通过随机选择固定数量的傅里叶分量，实现了线性计算复杂度和内存开销，并从理论和实验中验证了该选择方法的有效性；
4. 在6个基准数据集进行了实验，所提模型在多变量和单变量预测任务中分别提升先进方法的性能14.8%和22.6%。

2. 时间序列在频域中紧凑表示（Compact Representation of Time Series in Frequency Domain）

论文的一个关键贡献是使用神经网络进行频域运算，而如何用傅立叶分析恰当地表示时间序列中的信息是至关重要的。

只简单地保留所有的频率分量可能会导致较差的表示，因为时间序列中的许多高频变化是由于噪声输入引起的。仅保留低频分量也可能不适合用于序列预测，因为时间序列中的一些趋势变化代表了重要事件。使用少量选定的傅立叶分量保持时间序列的紧凑表示可使Transformer的计算变得高效，这对建模长序列至关重要。

论文建议通过随机选择固定数量的傅立叶分量(包括高频和低频)来表示时间序列。并从理论上论证了该方法。（具体见论文）

3. 模型介绍

3.1 FEDformer模型架构

整体模型结构如上图2所示，包括频率增强块（FEB）、连接Encoder和Decoder的频率增强注意力（FEA）、混合专家分解块（MOEDecomp）。Encoder和Decoder均采用多层结构，分别有N层和M层。

Encoder的形式化表示如下：

对于FEB模块，它有两个不同的版本(FEB-f和FEB-w)是通过离散傅立叶变换(DFT)与离散小波变换(DWT)机制分别实现的，并可无缝替代自注意块。

Decoder的形式化表示如下：

与FEB类似，FEA有两个不同的版本(FEA-f和FEA-w)，分别通过DFT和DWT投影实现，并具有注意设计，可替代交叉注意块。
最后的预测是两个细化分量的和：

3.2 傅立叶增强结构Fourier Enhanced Structure

3.3 Wavelet Enhanced Structure

待补充

3.4 用于季节性趋势分解的专家混合

文章设计了一个混合专家分解块，它包含一组不同大小的平均滤波器，从输入信号中提取多个趋势成分，以及一组数据相关的权重，将它们组合成最终趋势。形式化如下：

其中F为多个average pooling filters的集合，Softmax(L(x))是将提取的多个趋势项结合起来的权重。

3.5 复杂度分析

训练时的时间复杂度和内存使用情况以及测试中推理步骤的比较如表1所示

4. 实验