神经网络笔记一：Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting

摘要

现在Transformer在时间序列预测上发挥巨大作用，但对于非平稳的现实时间序列表现并不好。之前的一些研究着重在于将时间序列平稳化，这样的方法减弱了对突发事件的预测，同时在时间序列预测方面的效果下降。本文称之为过度平稳化（over-stationarization）,即Transformer对于不同的时间序列产生了相似的Attention，减弱了模型预测能力。针对这种现象，本文进而提出了Non-stationary Transformers框架，其中包含两个模块：
分别是序列平稳化模块（Series Stationarization）以及逆平稳化模块（De-stationary Attention）。序列平稳化模块之中，本文将模块输入的数据的统计量与模块输出结合。逆平稳化模块则设计为从不同时间序列中习得不同Attention，利用这些Attention恢复时间序列固有的非平稳性。

时间序列的非平稳性：时间序列的统计特征和联合分布随着时间变化而变化，非平稳性使得时间序列更加不可预测。
上图为三段不平稳时间序列的Attention的可视化图。我们可以看到在本文的模型中，不平稳时间序列的Attention能够产生明显的差异，说明不平稳时间序列本身的固有属性能够帮助我们进行预测。而Over stationarization问题就是将时间序列平稳化，而没有利用到非平稳序列的固有属性。

本文贡献

• 发现了非平稳时间序列的预测能力，以及现有平稳化方法造成的过平稳化问题。
• 提出了Non-stationary Transformers 避免过平稳化的现象。
• Non-stationary Transformers 在六个基准上，超过了四个现今主流的Transformer模型。

Non-stationary Transformers

1 Series Stationarization

1.1 Normalization module

class MyDataset(Dataset):
	...
	def __getitem__(self,index):
		s_begin = index
		#其中S就是seq_len
		s_end = s_begin + self.seq_len
		# seq_x[0,0]的长度为C
		seq_x = self.data_x[s_begin:s_end]
		seq_y = self.data_y[s_begin:s_end]
		return(seq_x,seq_y)

通过移动窗口的方式得$S$长度的序列，每个序列具有$C$长度的特征。
$${\mu }_x=\frac{1}{S}\sum _{i=1}^S{x}_i,{\sigma }_x^2=\frac{1}{S}\sum _{i=1}^S(x_i-{\mu }_x{)}^2,x_i^{{}^{\prime }}=\frac{1}{{\sigma }_x}\odot (x_i-{\mu }_x)$$
其中 $x=[x_1,x_2,...,x_S{]}^T\in {\mathbb{R}}^{S\times C},x^{{}^{\prime }}=[x_1^{{}^{\prime }},x_2^{{}^{\prime }},...,x_S^{{}^{\prime }}{]}^T\in {\mathbb{R}}^{S\times C}$,$S$ 和 $C$ 分别是序列的长度和变量个数。

1.2 De-normalization module

在经过整个模型$H$后，可以得到O长度的向量 y ′ = [ y 1 ′ , y 2 ′ , . . . , y O ′ ] y^{'} = [y_1^{'},y_2^{'},...,y_O^{'}] y′=[y1′​,y