Autoformer的解码器内公式解释

解码器详细解释

Autoformer 解码器主要包含两部分：用于趋势-周期性成分的累积结构和用于季节性成分的堆叠自动相关机制。每个解码器层包含内部自动相关和编码器-解码器自动相关机制，这两部分分别用于精炼预测和利用过去的季节性信息。解码器从中间隐藏变量中提取潜在趋势，使得 Autoformer 能够逐步精炼趋势预测并消除干扰信息。

假设解码器有$M$层，编码器的输出是$X_{en}^N$，第$l$层解码器层的方程可以总结为：

$$X_{de}^l=\text{Decoder}(X_{de}^{l-1},X_{en}^N)$$

解码器的具体公式如下：

公式解释

第$l$层解码器层的处理流程

1. 内部自动相关与序列分解：

   • 对输入$X_{de}^{l-1}$应用自动相关机制，然后加上输入值自身：
     $$S_{de,1}^l,T_{de,1}^l=\text{SeriesDecomp}(\text{Auto-Correlation}(X_{de}^{l-1})+X_{de}^{l-1})$$
   • 自动相关机制用于捕捉时间序列中的周期性相关性。
   • 序列分解将结果分解为季节性部分$S_{de,1}^l$和趋势-周期性部分$T_{de,1}^l$。

2. 编码器-解码器自动相关与序列分解：

   • 对$S_{de,1}^l$应用编码器-解码器自动相关机制，并加上自身：
     $$S_{de,2}^l,T_{de,2}^l=\text{SeriesDecomp}(\text{Auto-Correlation}(S_{de,1}^l,X_{en}^N)+S_{de,1}^l)$$
   • 编码器-解码器自动相关机制利用编码器的输出$X_{en}^N$来捕捉周期性相关性。
   • 序列分解将结果分解为季节性部分$S_{de,2}^l$和趋势-周期性部分$T_{de,2}^l$。

3. 前馈网络与序列分解：

   • 对$S_{de,2}^l$应用前馈网络（Feed Forward Network），再加上自身：
     $$S_{de,3}^l,T_{de,3}^l=\text{SeriesDecomp}(\text{FeedForward}(S_{de,2}^l)+S_{de,2}^l)$$
   • 前馈网络用于进一步处理和提取特征。
   • 序列分解将结果分解为季节性部分$S_{de,3}^l$和趋势-周期性部分$T_{de,3}^l$。

4. 趋势累积：

   • 累积趋势-周期性部分：
     $$T_{de}^l=T_{de}^{l-1}+W_{l,1}\ast T_{de,1}^l+W_{l,2}\ast T_{de,2}^l+W_{l,3}\ast T_{de,3}^l$$
   • 这里的$W_{l,i}$是用于提取趋势部分的投影矩阵，表示第$i$个提取的趋势$T_{de,i}^l$。

5. 输出：

   • 第$l$层解码器的输出：
     $$X_{de}^l=S_{de,3}^l$$

具体数据示例

假设我们有如下时间序列数据（单位：千元），用于解码器输入$X_{de}^0$：

月份	销售额 (千元)
1月	100
2月	120
3月	130
4月	150
5月	170
6月	180
7月	190
8月	200
9月	220
10月	230
11月	240
12月	260

假设这是解码器的初始输入$X_{de}^0$，趋势-周期性初始值$T_{de}^0$是之前提到的趋势-周期性部分：

月份	初始趋势-周期性部分 (千元)
1月	200
2月	210
3月	220
4月	230
5月	240
6月	250
7月	260
8月	270
9月	280
10月	290
11月	300
12月	310

第1层解码器处理流程

1. 步骤1：内部自动相关与序列分解：

   • 计算自动相关：
     假设自动相关计算的结果为：
     $$\text{Auto-Correlation}(X_{de}^0)=[110,130,140,160,180,190,200,210,230,240,250,270]$$

   • 将自动相关结果加上输入值：
     $$X_{de}^0+\text{Auto-Correlation}(X_{de}^0)=[210,250,270,310,350,370,390,410,450,470,490,530]$$

   • 进行序列分解，假设分解结果为：

     • 季节性部分$S_{de,1}^1=[60,50,60,50,40,30,30,20,20,10,10,0]$
     • 趋势-周期性部分$T_{de,1}^1=[150,200,210,260,310,340,360,390,430,460,480,530]$

2. 步骤2：编码器-解码器自动相关与序列分解：

   • 计算编码器-解码器自动相关：
     假设自动相关计算的结果为：
     $$\text{Auto-Correlation}(S_{de,1}^1,X_{en}^N)=[65,55,65,55,45,35,35,25,25,15,15,5]$$

   • 将结果加上自身：
     $$S_{de,1}^1+\text{Auto-Correlation}(S_{de,1}^1,X_{en}^N)=[125,105,125,105,85,65,65,45,45,25,25,5]$$

   • 进行序列分解，假设分解结果为：

     • 季节性部分$S_{de,2}^1=[30,25,30,25,20,15,15,10,10,5,5,0]$
     • 趋势-周期性部分$T_{de,2}^1=[95,80,95,80,65,50,50,35,35,20,20,5]$

3. 步骤3：前馈网络与序列分解：

   • 计算前馈网络输出：
     假设前馈网络的结果为：
     $$\text{FeedForward}(S_{de,2}^1)=[35,30,35,30,25,20,20,15,15,10,10,5]$$

   • 将结果加上自身：
     $$
     S_{de,2}^1 + \text{FeedForward}(S_{de,2}^1) = [65, 55, 65,

55, 45, 35, 35, 25, 25, 15, 15, 5]
$$

• 进行序列分解，假设分解结果为：
  • 季节性部分$S_{de,3}^1=[30,25,30,25,20,15,15,10,10,5,5,0]$
  • 趋势-周期性部分$T_{de,3}^1=[35,30,35,30,25,20,20,15,15,10,10,5]$

4. 趋势累积：

   • 初始趋势-周期性部分：
     $$T_{de}^0=[200,210,220,230,240,250,260,270,280,290,300,310]$$

   • 累积趋势部分：
     $$T_{de}^1=T_{de}^0+W_{1,1}\ast T_{de,1}^1+W_{1,2}\ast T_{de,2}^1+W_{1,3}\ast T_{de,3}^1$$
     假设$W_{1,1}=0.1$,$W_{1,2}=0.1$,$W_{1,3}=0.1$，计算：
     $$T_{de}^1=[200,210,220,230,240,250,260,270,280,290,300,310]+0.1\ast [150,200,210,260,310,340,360,390,430,460,480,530]+0.1\ast [95,80,95,80,65,50,50,35,35,20,20,5]+0.1\ast [35,30,35,30,25,20,20,15,15,10,10,5]$$
     逐项计算得：
     $$T_{de}^1=[200+15+9.5+3.5,210+20+8+3,220+21+9.5+3.5,230+26+8+3,240+31+6.5+2.5,250+34+5+2,260+36+5+2,270+39+3.5+1.5,280+43+3.5+1.5,290+46+2+1,300+48+2+1,310+53+0.5+0.5]$$
     最终结果：
     $$T_{de}^1=[228,241,253,267,280,291,303,314,328,337,351,364]$$

5. 输出：

   • 第 1 层解码器的输出$X_{de}^1=S_{de,3}^1=[30,25,30,25,20,15,15,10,10,5,5,0]$

总结

通过这个具体数据的例子，我们详细展示了 Autoformer 解码器的工作流程。解码器利用自动相关机制和序列分解逐步提取和处理时间序列的季节性和趋势信息。每一层解码器通过这些步骤来提取特征，并将结果传递到下一层，最终生成包含丰富季节性和趋势信息的输出。这些信息将用于预测，从而提高长期时间序列预测的准确性和稳定性。