论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

最新推荐文章于 2024-06-04 19:56:01 发布

UQI-LIUWJ

最新推荐文章于 2024-06-04 19:56:01 发布

阅读量2k

点赞数 1

分类专栏：论文笔记文章标签：论文阅读 transformer 深度学习

本文链接：https://blog.csdn.net/qq_40206371/article/details/129222126

版权

272 篇文章 65 订阅

订阅专栏

2022 ICML

1 Intro

长时间序列问题是一个研究很广泛的问题
- RNN以及变体会遇到梯度消失/梯度爆炸，这会在很大程度上限制他们的表现
- Transformer的方法会导致很高的计算复杂度，以及很大的内存消耗，这也会使得在长时间序列上使用Transformer很吃力
  - 近来有方法优化Transformer，使其计算复杂度降低
  - 但他们大多的思路是少取一些QK 对，这就可能导致信息的丢失，进而影响预测的精准度有
与此同时，使用Transformer的方法，会在一定程度上难以捕获时间序列的整体特征/分布
- 比如上图，不难发现预测的结果和实际值，二者的分布有着一定的差距
- 这可能由于Transformer使用的是point-wise attention，每个时间点是独立的进行注意力计算和预测的，所以整体的、全局的特征难以维系和建模
这篇论文提出了FedTransformer
- 在Transformer的架构种使用周期-趋势分解（这一点有点类似AutoFormer）
- 在谱域中使用Transformer
  - ——>使得Transformer能更好地捕获全局特征
  - ——>在不减少每个点计算attention时看到的其他点数量的基础上，减少复杂度

这篇论文的一个重要的问题是，经过离散傅里叶变化后，哪些部分应该得以保留，以表征时间序列
- 一种方式是保留低频部分，去除高频部分（低频信号表示近似信息，高频信号表示细节信息）
  - ——>这样的话，有一些诸如趋势变化的信息就会被丢失（这是一个高频信号）
- 另一种方式是全部保留，但是这样的话。很多噪声是高频信号，这会扰乱预测结果
论文通过理论分析，说明从各种频率成分中随机选取一个子集，会得到一个好的时间序列表征
- 假设我们有m个时间序列 $X_1(t),\cdots,X_m(t)$
- 通过傅里叶变化，我们可以将Xi(t)转化成 $a_i=(a_{i,1},\cdots,a_{i,d})^T \in R^d$
- 将所有时间序列进行转化，我们得到转化矩阵 $A=(a_1,a_2,\cdots,a_m)^T \in R^{m\times d}$
- 从d个谱域成分中随机选取s个(s<d)，论文通过理论证明 $A' \in R^{m \times s}$ 可以保留大部分A的信息

encoder的输入是I*D（I表示输入的长度，D表示hidden state）

decoder的输入是(I/2+O)*D

【和autoformer的是一样的】

和autoformer类似，S是seasonality，trend是趋势

也是encoder逐步把trend剥离掉；decoder再逐步把trend加回来

DFT将N长的时域sequence转变成N长的谱域sequence
- 其中每个谱域元素的计算方式为 $X_l=\sum_{n=0}^{N-1}x_n e^{-i\omega ln}$
- 计算每个谱域元素是一个O(N)的复杂度，那么计算N长的谱域sequence，复杂度是O(n^2)
FFT可以将复杂度降至O(nlogn)
- 每个谱域元素还是O(n)的计算复杂度，但是一半的元素两两对称，利用分治的思路，就是计算O(logn)个谱域元素
这里作者是随机选s个谱域元素（s<<n)，每个元素是O(n)的计算复杂度
- ——>这里DFT的时间复杂度是O(n)

首先将输入 $x \in R^{N \times D}$ 用 $w \in R^{D\times D}$ 线性映射到 $q =x \cdot w \in R^{N \times D}$
然后将q用傅里叶变化转换至 $Q \in C^{N \times D}$
接着从Q的N个组成部分中随机选择M个，得到
然后对进行映射，
- $Y \in C^{M\times D}$
- $R \in C^{D \times D \times M}$
- $Y_{m,d_o}=\sum_{d_i=0}^D Q_{m,d_i} \cdot R_{d_i,d_o,m}$
然后对Y进行补零操作，补至 $C^{N\times D}$
最后对结果进行逆傅里叶操作

架构是一样的，也都是encoder逐步把趋势项剥离，decoder逐步把趋势项加回来
尽管AutoFormer中也使用了傅里叶变化，但那时为了加快AutoCorrelation（那篇论文对于self-attention的替代结构）的计算，所以严格意义上讲AutoFormer还是时域上的attention；FedFormer则是谱域上的attention