深刻理解Informer中的Scalar和Stamp（通俗易懂版）

Informer中的Scalar和Stamp示例

为了更好地理解Informer模型中的Scalar和Stamp的具体含义，我们可以通过一个实际的时间序列数据例子进行说明。

假设我们有一个天气预测的数据集，其中包含每天的温度、湿度等信息，同时包含每个数据点对应的日期。

Scalar（数值特征）：

• 定义：Scalar代表时间序列数据中的实际数值部分，这些数值是我们希望模型用来学习和预测的主要信息。
• 示例：在天气预测的例子中，Scalar可以包括：
  • 每日的温度（例如：25°C, 26°C, 24°C）
  • 每日的湿度（例如：60%, 65%, 58%）
  • 每日的风速（例如：5 km/h, 6 km/h, 4 km/h）

这些数值特征构成了时间序列数据的主要部分，是模型进行预测时的关键输入。

Stamp（时间戳特征）：

• 定义：Stamp代表时间序列数据中的时间标记部分，这些标记提供了每个数据点的时间信息，帮助模型捕捉时间上的依赖性和周期性特征。
• 示例：在天气预测的例子中，Stamp可以包括：
  • 日期（例如：2023-06-01, 2023-06-02, 2023-06-03）
  • 时间（如果是更细粒度的数据，例如每小时的观测值：08:00, 09:00, 10:00）
  • 一年中的第几天（例如：152, 153, 154）

这些时间戳特征帮助模型理解数据的时间依赖性。例如，季节性的变化（夏季和冬季的温度差异）可以通过Stamp信息捕捉到。

示例数据表：

日期	温度 (°C)	湿度 (%)	风速 (km/h)	一年中的第几天
2023-06-01	25	60	5	152
2023-06-02	26	65	6	153
2023-06-03	24	58	4	154

• Scalar特征：

  • 温度（25, 26, 24）
  • 湿度（60, 65, 58）
  • 风速（5, 6, 4）

• Stamp特征：

  • 日期（2023-06-01, 2023-06-02, 2023-06-03）
  • 一年中的第几天（152, 153, 154）

在Informer模型中的处理：

1. 输入处理：

   • Scalar和Stamp特征分别作为输入进行处理。
   • Scalar特征经过1x3卷积层和嵌入层，生成高维表示。
   • Stamp特征也经过相应的处理（如嵌入），确保模型能够理解时间上的信息。

2. 位置编码：

   • 在将嵌入后的表示送入注意力机制之前，加入位置编码，以捕捉输入序列的相对位置关系。

3. 注意力机制：

   • 加入位置编码后的表示进入多头注意力机制块，进行特征提取和学习。

总结：

• Scalar（数值特征）：代表时间序列中的实际数值信息，如温度、湿度等。
• Stamp（时间戳特征）：代表时间序列中的时间标记信息，如日期、一年中的第几天等。

通过同时处理Scalar和Stamp特征，Informer模型能够更好地捕捉时间序列数据中的数值和时间依赖性特征，从而提高预测的准确性。