Autoformer的Model inputs

模型输入

Autoformer 的输入结构复杂且独特，结合了编码器和解码器的输入需求。为了详细解释这个过程，我们将从输入数据、分解处理及初始化方法的角度逐步展开。

编码器部分的输入

编码器的输入是过去$I$个时间步的数据$X_{en}\in {\mathbb{R}}^{I\times d}$，其中$d$是每个时间步的数据维度。

解码器部分的输入

解码器的输入包含了季节性部分$X_{des}\in {\mathbb{R}}^{(\frac{I}{2}+O)\times d}$和趋势-周期性部分$X_{det}\in {\mathbb{R}}^{(\frac{I}{2}+O)\times d}$，需要进一步精炼。每个初始化部分包含以下两部分：

1. 编码器输入$X_{en}$后半部分（长度为$\frac{I}{2}$）进行分解，提供最近信息。
2. 长度为$O$的占位符（placeholder），用标量填充。

具体过程如下：

1. 从编码器输入中提取后半部分并进行分解：
   -$X_{ens},X_{ent}=\text{SeriesDecomp}(X_{en}[\frac{I}{2}:I])$

   • 其中$X_{ens}$是季节性部分，$X_{ent}$是趋势-周期性部分。

2. 初始化解码器输入：

   • 季节性部分初始化：
     $$X_{des}=\text{Concat}(X_{ens},X_0)$$
     其中$X_0$是用标量（通常为零）填充的占位符。

   • 趋势-周期性部分初始化：
     $$X_{det}=\text{Concat}(X_{ent},X_{\text{Mean}})$$
     其中$X_{\text{Mean}}$是用输入数据的均值填充的占位符。

具体数据示例

假设我们有如下的时间序列数据，表示某个商店的月度销售额（单位：千元），时间步长度$I=12$：

月份	销售额 (千元)
1月	100
2月	120
3月	130
4月	150
5月	170
6月	180
7月	190
8月	200
9月	220
10月	230
11月	240
12月	260

预测的时间步长度$O=6$。

编码器部分

编码器的输入$X_{en}$是前 12 个月的数据：
$X_{en}=[100,120,130,150,170,180,190,200,220,230,240,260]$

解码器部分

1. 提取编码器输入的后半部分（后6个月）并进行分解：

   • 编码器后半部分$X_{en}[\frac{I}{2}:I]=[190,200,220,230,240,260]$
   • 通过序列分解模块得到：
     • 季节性部分$X_{ens}=[-10,-10,0,10,10,20]$
     • 趋势-周期性部分$X_{ent}=[200,210,220,220,230,240]$

2. 初始化解码器输入：

   • 季节性部分初始化$X_{des}$：
     $X_{des}=\text{Concat}([-10,-10,0,10,10,20],[0,0,0,0,0,0])$
     最终$X_{des}=[-10,-10,0,10,10,20,0,0,0,0,0,0]$

   • 趋势-周期性部分初始化$X_{det}$：
     $X_{det}=\text{Concat}([200,210,220,220,230,240],[210,210,210,210,210,210])$
     最终$X_{det}=[200,210,220,220,230,240,210,210,210,210,210,210]$

总结

通过这个具体数据示例，我们展示了 Autoformer 的编码器和解码器输入如何初始化和处理。编码器处理过去的时间步数据，而解码器使用分解后的近期数据和占位符初始化，以逐步提取和精炼时间序列的长期趋势和季节性成分。这样的方法有助于在长期时间序列预测中捕捉复杂的时间模式，提高预测准确性。