【论文阅读】2023-ICLR：TimesNet

1. 论文信息

 

2. 简介

当前深度学习方法对时序数据的建模都是将时序数据作为1D数据输入模型，然后使用RNN，RCN，或Transformer-based的方法来捕获时序数据的变化。但是，注意力机制很难从分散的时间点直接找到可靠的依赖性，因为时间依赖性在复杂的时间模式中会被深深地遮蔽。

 真实世界中，时间序列数据往往是多周期的，如图1，基于对时间序列中多周期性的观察，论文将复杂的时间变化分解为多个周期内和周期间变化。为了解决1D时间序列在表示能力上的局限性，论文将时间变化分析扩展到2D空间，方法是将1D时间系列转换为基于多个周期的一组2D张量。这种转换可以将周期内和周期间的变化分别嵌入到2D张量的列和行中，使得2D变化可以容易地由2D内核建模。

3. 模型

论文提出了TimesNet模型，通过模块化结构将复杂时序变化分解至不同周期，并通过将原始一维时间序列转化至二维空间实现了周期内与周期间变化的统一建模。

3.1 1D数据转化为2D

具体地，先通过快速傅立叶变换得到时序数据在频域的分量，保留TopN低频分量，剔除高频噪声，最后得到时序数据分解后的子波形的频率和周期

 简化表示为：

 然后，基于选定的周期对原始的一维时间序列进行折叠，该过程可以形式化为：

其中，Padding(.)为在序列末尾补0，使得序列长度可以被整除。 

 需要注意的是，对于上述二维向量，其每列与每行分别对应着相邻的时刻与相邻的周期，而临近的时刻与周期往往蕴含着相似的时序变化。因此，上述二维张量会表现出二维局部性（2D locality），从而可以很容易通过2D卷积捕捉信息。

3.2 TimesBlock

 

如上图所示，TimesNet由多个TimesBlock堆叠组成。每个TimesBlock的处理过程为：

1. 将时序数据从一维变换至二维
2. 提取二维时序变化表征
3. 二维变换至一维
4. 自适应融合

通过上述设计，TimesNet完成了“多个周期分别提取二维时序变化，再进行自适应融合”的时序变化建模过程。

4. 实验

论文在长时、短时预测、缺失值填补、异常检测、分类五大任务上进行了实验，涵盖36个数据集、81种不同的实验设置。