informer之解码器的输入过程详细解释

解码器的输入过程详细解释

解码器的输入过程与编码器有一些相似之处，但也有其特定的特点和处理步骤。以下是详细的解码器输入过程的解释：

1. 输入数据处理

首先，解码器接收来自编码器的输出特征，通常这些特征已经过卷积、注意力机制和蒸馏等处理，具有较高的特征表示能力。解码器的任务是将这些高层次的特征转换为目标输出。

2. 1x3 卷积层（Conv1d）

• 作用：与编码器的1x3卷积层相似，主要用于进一步提取和压缩特征。

• 具体过程：

  • 使用1x3的卷积核对输入特征进行卷积操作。
  • 这一操作考虑当前时间点及其前后各一个时间点的数据，生成新的特征表示。
  • 输出特征维度保持不变，但特征表示更加精炼。

• 公式：
  $$\text{Conv1d}(x)=\sum _{i=-1}^1{w}_i\cdot x_{t+i}$$
  其中，$x$ 是输入特征，$w$ 是卷积核权重，$t$ 是时间步。

3. 嵌入层（Embedding Layer）

• 作用：将输入特征转换为高维向量表示，方便后续的注意力机制处理。
• 维度：嵌入维度为 $d=512$，即每个时间点的数据被转换为512维的向量。
• 目的：增加数据的表达能力，使其更适合注意力机制和解码器中的处理步骤。

具体步骤

1. 数据预处理：

   • 解码器输入通常是从编码器输出的特征序列，假设其长度为N，特征维度为512。

2. 1x3 Conv1d 层处理：

   • 将输入特征通过1x3的卷积核进行卷积操作，生成新的特征表示。
   • 例如，对于时间点t，卷积操作考虑了 $t-1,t,t+1$ 三个时间点的数据，产生一个新的特征值。

3. 嵌入层处理：

   • 将卷积后的特征表示转换为高维向量。每个时间点的特征被映射到一个512维的向量空间。
   • 这一步使用了嵌入矩阵，将每个时间点的特征表示映射为一个高维度的嵌入向量。

具体实例

假设输入数据是一个长度为10的时间序列数据，表示从编码器输出的特征序列：

$[v_1,v_2,v_3,v_4,v_5,v_6,v_7,v_8,v_9,v_{10}]$

1. 1x3 Conv1d 层处理：

   • 输入特征维度：$10,512$。
   • 使用1x3的卷积核对每个时间点及其前后各一个时间点进行卷积操作。
   • 输出特征维度：$10,512$。

2. 嵌入层处理：

   • 将卷积后的每个特征值映射到一个512维的向量。
   • 例如，假设卷积后的一组特征值为：$[v_1^{\prime },v_2^{\prime },v_3^{\prime },v_4^{\prime },v_5^{\prime },v_6^{\prime },v_7^{\prime },v_8^{\prime },v_9^{\prime },v_{10}^{\prime }]$，那么每个值将通过嵌入矩阵映射为一个512维向量。

小结

通过1x3 Conv1d层和嵌入层，解码器的输入特征被进一步提取和转换为高维度的向量表示，这些表示更适合后续的注意力机制和解码器中的处理步骤。这个过程通过局部卷积和高维嵌入来增强输入特征的表示能力，从而使模型能够更好地捕捉和利用序列中的模式和依赖关系。

接下来，我们将详细解释解码器中的掩码稀疏注意力块（Masked ProbSparse Block）以及其具体实现步骤和功能。