TimesNet

ʚ F【O】ɞ

已于 2023-12-11 14:20:22 修改

阅读量1k

点赞数 19

分类专栏：时间序列文章标签：算法

于 2023-11-22 10:35:55 首次发布

本文链接：https://blog.csdn.net/qq_51844463/article/details/134483406

版权

时间序列专栏收录该内容

1 篇文章 0 订阅

订阅专栏

论文：TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS

会议：ICLR

时间：2023

TimesNet 在五个主流分析任务上实现了一致的最先进性能（图 4 左）。此外，通过用更强大的视觉主干替换初始块，我们可以进一步提升 TimesNet 的性能（图 4 右），证实了我们的设计可以利用蓬勃发展的视觉主干。

目的：本文重点研究时间变化建模，为了解决一维时间序列在表示能力方面的局限性，我们将一维时间序列转换为一组基于多个周期的二维张量，将时间变化分析扩展到二维空间，使得2D变化很容易被2D核建模。

T——序列长度/时间步

C——维度（variate number）

d_model——隐藏层维度（Transformer中的模型维度）

对于输入的时间序列数据，首先通过傅里叶变换将一维信号分解成多组不同频率的信号，对每组信号，计算其多列维度的幅值平均值，选取幅值前topk的重要部分，进而计算每种信号的周期长度。

FFT(.)表示将一维时间序列进行快速傅里叶变换（将T序列长度的时域信号转换为T/2+1长度的谱域信号）
Amp就是算各个时间序列转换后，在各个频率上的振幅
Avg就是对不同时间序列的振幅求平均(C维度）
A是每个频率的振幅
我们只选择top-k振幅值，得到非归一化振幅{Af1，···，Afk}的最重要频率{f1，···，fk}，这些选定的频率也对应于 k 个周期长度 {p1, · · · , pk}。

论文将上述三个式子简化成：

基于所选频率{f1，···，fk}和相应的周期长度{p1，···，pk}，我们可以通过以下公式将一维时间序列X1D[T ,C]重塑为多个二维张量:

其中 Padding(·) 是沿时间维度将时间序列按零扩展， pi 和 fi 分别表示转换后的 2D 张量的行和列的数量。Xi2D [pi,fi,C] 表示基于频率 fi 的第 i 个重塑时间序列，其列和行分别表示相应周期长度 pi 下的周期内变化和周期间变化，一共有k个周期导出 k 个不同的时间 2D 变化。

注：在代码实现中我们将序列长度为 length 的序列划分为 length//period 个长度为 period 的子序列来实现周期间变化和周期内变化。按我的理解就是（length//period ，period ）=（周期间，周期内）=（行，列）=（H，W）相当于将序列长度往图像方面靠近，实现2D可以使用视觉方向的已有的优秀的模型骨干来做尝试。

Figure 3 Overall architecture of TimesNet.

从上图中，我们可以看到TimesNet是多个带有残差连接的TimesBlock的堆栈。在每个TimesBlock中，我们可以看到该序列首先通过快速傅立叶变换(FTT)来找到数据中的不同周期。然后，它被重塑为一个2D向量，并发送到一个Inception块，在那里它学习并预测该系列的2D表示。然后，必须使用自适应聚合（adaptive aggregation）将该深度表示重塑回一维向量。