PatchTST创新点

这篇论文的创新点主要集中在PatchTST模型的设计和应用中。以下是对其创新点的详细说明：

创新点

1. 频道独立补丁设计：PatchTST模型通过将多变量时间序列分割成不同的频道，每个频道作为单变量时间序列处理。每个频道独立地通过实例归一化操作和补丁分割过程，避免了传统方法中可能的频道间信息混杂，提高了模型的泛化能力和效率。

2. 补丁（Patching）：补丁设计的引入显著减少了模型的时间和空间复杂度。通过将输入序列分割成长度为$P$的补丁，并以步幅$S$进行非重叠分割，使得输入标记的数量从$L$减少到$L/S$。这使得注意力图的内存使用和计算复杂度减少了$S$倍，从而在计算资源有限的情况下允许模型查看更长的历史序列。

3. 自监督表示学习：引入了掩码自监督学习机制，通过随机选择并掩码部分补丁，模型被训练来重建这些被掩码的补丁。这样，模型不仅在监督预测任务中表现出色，还能在无标签数据上学习有用的表示，从而提高了表示的通用性和迁移能力。

公式详细解释

补丁过程公式

$$N=\lfloor \frac{L-P}{S}\rfloor +2$$
其中，$N$是补丁的数量，$L$是输入序列长度，$P$是补丁长度，$S$是步幅。这个公式用于计算输入序列在分割成补丁后的补丁数量。

补丁的生成过程可以用以下公式描述：
$${\mathbf{x}}_p^{(i)}\in {\mathbb{R}}^{P\times N}$$
其中，${\mathbf{x}}_p^{(i)}$是第$i$个单变量序列的补丁矩阵，维度为$P\times N$。

Transformer编码器

补丁通过可训练的线性投影映射到Transformer潜在空间：
$${\mathbf{x}}_d^{(i)}={\mathbf{W}}_p{\mathbf{x}}_p^{(i)}+{\mathbf{W}}_{pos}$$
其中，${\mathbf{W}}_p\in {\mathbb{R}}^{D\times P}$是线性投影矩阵，${\mathbf{W}}_{pos}\in {\mathbb{R}}^{D\times N}$是可学习的加性位置编码，${\mathbf{x}}_d^{(i)}\in {\mathbb{R}}^{D\times N}$是投影后的补丁表示。

多头注意力机制的计算公式为：
$${\mathbf{Q}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^Q,{\mathbf{K}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^K,{\mathbf{V}}_h^{(i)}=({\mathbf{x}}_d^{(i)}{)}^T{\mathbf{W}}_h^V$$
其中，${\mathbf{W}}_h^Q,{\mathbf{W}}_h^K\in {\mathbb{R}}^{D\times d_k}$，${\mathbf{W}}_h^V\in {\mathbb{R}}^{D\times D}$。

注意力输出的计算公式为：
$$({\mathbf{O}}_h^{(i)}{)}^T=\text{Attention}({\mathbf{Q}}_h^{(i)},{\mathbf{K}}_h^{(i)},{\mathbf{V}}_h^{(i)})=\text{Softmax}\left(\frac{{\mathbf{Q}}_h^{(i)}({\mathbf{K}}_h^{(i)}{)}^T}{\sqrt{d_k}}\right){\mathbf{V}}_h^{(i)}$$

损失函数

$$\mathcal{L}={\mathbb{E}}_{\mathbf{x}}\frac{1}{M}\sum _{i=1}^M{\Vert {\hat{\mathbf{x}}}_{L+1:L+T}^{(i)}-{\mathbf{x}}_{L+1:L+T}^{(i)}\Vert }_2^2$$
该公式表示我们选择使用均方误差（MSE）损失来衡量预测值与真实值之间的差异。每个频道中的损失汇总并在$M$个时间序列上取平均值，以获得总体目标损失。

结论

论文通过创新性的PatchTST模型，利用补丁分割和自监督学习显著提高了时间序列预测的性能。通过减少计算复杂度和提高表示学习能力，PatchTST展示了其在处理长时间序列预测任务中的优势。