40、多水平因果干预时间序列预测

多水平因果干预时间序列预测

1. 因果三重注意力时间序列预测模型概述

因果三重注意力时间序列预测模型（CTTT）主要包含两个部分：表示模型和预测模型。表示模型用于学习每个时间点的表示向量，它利用门控残差网络（GRN）选择相关特征，并使用门控线性单元（GLU）抑制不必要的信息。预测模型是一个带有长短期记忆网络（LSTM）单元的编码器 - 解码器循环网络，基于表示模型学习到的表示向量来预测目标值。同时，模型部署了三个注意力模块，以帮助捕捉局部和全局信息，并减轻混杂效应。

1.1 表示模型

在现实世界的时间序列数据集中，许多特征的预测价值较低，因此变量选择对于提升模型性能至关重要。受相关变量选择网络的启发，我们提出了独立于预测模型的表示模型，并且在训练预测模型之前先对其进行训练。

1.1.1 输入处理

• 对于系列项和分类变量，使用实体嵌入；对于连续变量，使用线性变换。将 m 个协变量和一个系列项转换为 m + 1 个 d 维向量 $e_{j,t}^{(k)} \in \mathbb{R}^d$，其中 $e_{j,t}^{(k)}$ 表示窗口 j 在时间 t 的第 k 个转换输入。
• 将扁平化的转换输入 $e_{j,t}^{(1)}, \cdots, e_{j,t}^{(m + 1)}$ 进行拼接，得到 $\xi_{j,t}$。

1.1.2 变量选择权重生成

将 $\xi_{j,t}$ 输入 GRN，然后通过 Softmax 层生成变量选择权重 $v_{j,t}$，即 $v_{j,t} = \text{Softmax}(GRN_v(\xi_{j,t}