SAMformer————3. Experiments（未完...）

作者通过实验证明了SAMformer在多变量长期时间序列预测中的优越性。

实验验证

1. 定量和定性分析：

   • 作者在这一部分通过实验结果展示了SAMformer在多变量长期时间序列预测任务中的定量和定性优越性。定量方面，作者可能是指模型的预测精度、误差率等数值指标，而定性方面则可能涉及模型的稳定性、泛化能力、对不同数据集的适应性等特性。

2. 超越现有的最先进模型：

   • 实验结果表明，SAMformer在常见基准数据集上的表现优于当前最先进的多变量时间序列预测模型TSMixer（Chen et al., 2023）。具体来说，SAMformer的性能提升了14.33%。
   • 这表明SAMformer不仅在性能上优于TSMixer，而且通过优化和设计，显著减少了模型的参数量——SAMformer的参数量仅为TSMixer的四分之一左右。这意味着SAMformer不仅更为高效，而且在计算资源有限的情况下也更具优势。

3. 实现细节：

   • 作者提到，所有的实现细节都在附录A.1中提供。这些细节可能包括数据预处理、模型训练、超参数设置、评估指标等方面的信息，为读者提供了足够的信息以复现实验结果。

总结1

通过这一段的描述，作者成功地展示了SAMformer在多变量长期时间序列预测任务中的优势。与当前最先进的模型相比，SAMformer不仅在预测精度上有显著提升，而且在参数量上也大幅减少，使得模型更为高效。这些实验结果进一步证明了SAMformer的设计选择（如通道级注意力和SAM优化）的有效性，并为其在实际应用中的潜力提供了有力的支持。

Datasets.

作者描述了用于实验的公开多变量时间序列数据集，并介绍了数据处理的基本方法。以下是对这段文字的详细解析：

数据集介绍

1. 使用的数据集：

   • 作者在实验中使用了8个公开的真实世界多变量时间序列数据集，这些数据集常用于长期预测任务。这些数据集的来源和用途如下：

     • ETTh1, ETTh2, ETTm1, ETTm2：这四个数据集来自《Electricity Transformer Temperature》研究（Zhou et al., 2021），它们记录了变压器的温度数据。
     • Electricity：来自UCI数据集（2015），记录了家庭用电量的时间序列数据。
     • Exchange：这个数据集记录了不同国家之间的汇率信息（Lai et al., 2018b）。
     • Traffic：来自加利福尼亚州交通运输局的数据集（2021），记录了交通流量的信息。
     • Weather：来自Max Planck研究所的数据集（2021），记录了不同地区的天气数据。

   • 这些数据集代表了不同领域的典型多变量时间序列问题，为实验提供了广泛的评估基础。

时间序列的分割与处理

2. 时间序列分割：
   • 所有时间序列数据都被分割为长度为$L=512$的输入窗口，并设置了不同的预测时间长度$H$进行实验。具体的预测时间长度包括 H ∈ { 96 , 192 , 336 , 720 } H \in \{96, 192, 336, 720\} H∈{96,192,336,720}四个选项，这些值对应于不同的时间范围，可以评估模型在不同预测时长下的表现。
   • 步幅（stride）为1：表示每个连续的时间窗口之间仅移动一步。这意味着每个窗口的数据和下一个窗口的数据有很大的重叠，这种方式可以充分利用时间序列数据，提高模型的学习效果。

进一步的细节

3. 数据集和时间序列准备的详细描述：
   • 更详细的描述，包括数据的预处理、切分策略等，均提供在附录A.2中。这部分内容可能包括数据标准化、训练集和测试集的划分方法等，有助于其他研究者复现实验。

总结2

作者在这一段中详细介绍了用于评估SAMformer模型的8个公开多变量时间序列数据集。这些数据集涵盖了电力、交通、汇率和天气等不同领域，为实验提供了丰富的评估基础。通过细致的时间序列分割策略，作者确保了模型能够在不同的预测时长下得到充分测试，从而全面评估其性能。这种设计和描述为实验结果的可靠性和广泛适用性提供了有力的支持。

Baselines

在这段文字中，作者介绍了实验中使用的基准模型（baselines）以及比较方法。以下是详细的解析：

基准模型（Baselines）

1. 与SAMformer的比较模型：

   • Transformer：这应该是前面介绍过的标准Transformer模型，作为SAMformer的直接对比模型。
   • TSMixer (Chen et al., 2023)：这是一个完全基于多层感知器（MLP）的最先进的多变量时间序列预测模型。TSMixer是一个重要的基准，因为它代表了当前最先进的非Transformer架构的表现。

2. 多次运行以提高评价可靠性：

   • 作者特别指出，Chen et al. (2023)的TSMixer结果是基于固定随机种子（seed）的单次实验结果，而在本文的实验中，作者进行了多次运行，使用不同的随机种子，从而得出了更具可靠性的评估结果。这种方法能够更好地反映模型的平均表现和稳定性。

3. 与其他SOTA模型的比较：

   • 为了确保比较的全面性和公平性，作者还包括了TSMixer在使用SAM优化时的性能，并对比了多个最近的、基于Transformer的多变量时间序列预测模型：
     • iTransformer (Liu et al., 2024)：一种最新的基于Transformer的模型。
     • PatchTST (Nie et al., 2023)：一种利用时间序列片段（patch）进行预测的Transformer模型。
     • FEDformer (Zhou et al., 2022)：一种融合高效解码的Transformer模型。
     • Informer (Zhou et al., 2021)：一种基于稀疏自注意力的高效时间序列预测模型。
     • Autoformer (Wu et al., 2021)：一种利用自动回归机制的时间序列预测模型。

4. 使用RevIN进行公平比较：

   • 为了使得SAMformer与其他模型的比较更为公平，所有报告的结果都使用了RevIN（Kim et al., 2021b）。RevIN是一种有效处理时间序列数据中分布偏移的方法，确保所有模型都在相同的前提下进行评估。

详细信息

5. 附录中的更多细节：
   • 作者提到，关于这些基准模型的更详细信息可以在附录A.3中找到。这些细节可能包括模型的具体架构、训练过程、超参数设置等内容，为其他研究者复现实验提供了基础。

总结3

通过这段介绍，作者确保了SAMformer的实验评估是在与当前最先进的多变量时间序列预测模型进行公平比较的基础上进行的。通过多次运行来提高结果的可靠性，以及通过统一使用RevIN进行前处理，作者力图确保比较的公正性和科学性。这种系统的对比方法能够更加明确地展示SAMformer相对于其他模型的性能优势。

Evaluation.

在这一段中，作者详细描述了他们对模型进行评估的方式以及报告的结果。以下是详细的解析：

评估方法

1. 损失函数：

   • 所有模型都被训练以最小化均方误差（MSE）损失函数，这与之前在方程(1)中定义的MSE相一致。MSE是一种常用的回归模型评估指标，衡量预测值与真实值之间的平方差异。

2. 测试集上的MSE：

   • 实验结果报告了在测试集上计算得到的平均MSE，此外还报告了5次不同随机种子运行的标准差。这种方法能够反映模型的平均表现，并且通过标准差提供模型性能的稳定性评估。
   • 使用不同的随机种子进行多次运行有助于避免模型性能受单次运行中可能出现的随机性因素影响，从而提高评估结果的可靠性。

3. 附加的细节和结果：

   • 除了MSE，作者还提到附录B.1的表6中提供了其他结果和细节信息，包括平均绝对误差（MAE）。MAE是另一种常用的回归评估指标，它衡量预测值与真实值之间的绝对差异，通常比MSE更直观。

4. 多次运行的结果：

   • 除非特别说明，所有结果都是基于5次不同随机种子运行的平均值和标准差。这种做法确保了所有报告的结果具有统计学上的意义，而不仅仅是单次实验的结果。

总结4

通过这段介绍，作者说明了他们的评估过程是如何确保科学性和可靠性的。通过对所有模型进行多次运行并报告MSE和标准差，实验结果不仅展示了模型的平均表现，还体现了模型在不同运行条件下的稳定性。附加的MAE结果提供了更全面的性能评估。整体而言，这种系统的评估方法能够有效地展示SAMformer和其他模型在多变量长期时间序列预测任务中的性能差异。

这张图（图6）展示了在Weather数据集上的注意力矩阵的对比，分别对应于Transformer、σReparam和SAMformer三种模型。以下是对图中内容的详细解析：

图中显示的注意力矩阵

1. Transformer：

   • 在原始Transformer模型中，注意力矩阵看起来非常稀疏且分散。这表明模型的注意力在不同特征之间并没有形成稳定的模式，可能导致信息传播不畅，模型难以充分利用输入特征之间的相关性。

2. σReparam：

   • σReparam处理后的注意力矩阵看起来更加模糊且均匀，这意味着注意力分数之间的差异被极大地压缩了。这种现象可能导致注意力矩阵的秩降低，阻碍了信息在特征之间的有效传播。注意力矩阵的秩降低通常意味着特征之间的相关性被忽视，模型的表达能力可能受到限制。

3. SAMformer：

   • SAMformer的注意力矩阵显示出非常清晰的对角线模式，这表明特征之间的自相关性被很好地保留了。这样的模式表明SAMformer有效地捕捉到了特征之间的自相关结构，能够更好地在特征之间传播信息。这种对角线的结构显示模型在处理自相关性方面的强大能力，这有助于提高时间序列预测的准确性。

图注解释

• 图注总结：
  • SAMformer保留了特征之间的自相关性，能够有效传播信息。
  • 相比之下，σReparam方法导致注意力矩阵的秩下降，从而阻碍了信息的传播。

总结5

通过这张图，作者展示了不同模型在处理注意力机制时的表现差异。SAMformer通过保留特征自相关性，成功维护了信息的有效传播，从而表现出色。相比之下，σReparam由于导致注意力矩阵的秩下降，削弱了模型捕捉和传播信息的能力。这些结果支持了SAMformer在多变量时间序列预测任务中的优越性。

图7展示了不同模型（σReparam、Transformer和SAMformer）在ETTh1、ETTm1和Exchange数据集上注意力矩阵的核范数（nuclear norm）的比较。以下是对图中内容的详细解释：

核范数的意义

• 核范数（Nuclear Norm）：核范数是一个矩阵所有奇异值的和，通常用于量化矩阵的秩。核范数越低，通常意味着矩阵的秩越低，这在某些情况下会导致模型的表达能力下降，因为低秩矩阵可能无法捕捉复杂的特征关系。

图中显示的结果

1. σReparam：

   • 在所有三个数据集（ETTh1、ETTm1、Exchange）中，σReparam方法导致了较低的核范数。根据命题2.2，这种现象符合σReparam的设计，因为它旨在通过减少矩阵的核范数来降低注意力矩阵的秩。
   • 然而，较低的核范数意味着注意力矩阵的秩较低，可能导致模型无法充分表达特征之间的复杂关系，限制了信息的传播。

2. Transformer：

   • 标准的Transformer模型在所有数据集上的核范数要高于σReparam，但仍低于SAMformer。这表明Transformer模型的注意力矩阵比σReparam更具表达性，但仍可能不足以充分捕捉到所有特征间的相关性。

3. SAMformer：

   • SAMformer在所有三个数据集上的核范数都明显高于σReparam和Transformer。这意味着SAMformer保留了注意力矩阵的较高秩，从而保持了模型的表达能力。高核范数表明SAMformer的注意力机制能够更好地捕捉并表达特征之间的复杂关系，有助于提高模型的性能。

图注解释

• 图注总结：
  • 图注解释了σReparam方法导致核范数降低，这与命题2.2一致；而SAMformer则保持了注意力矩阵的高表达能力，相对于Transformer有更强的特征捕捉能力。

总结6

通过图7，作者展示了σReparam、Transformer和SAMformer在注意力矩阵核范数上的差异。σReparam通过降低核范数减少了注意力矩阵的秩，但可能因此限制了模型的表达能力。相比之下，SAMformer保持了较高的核范数，从而增强了模型的表达能力和信息传播的效果。这进一步支持了SAMformer在多变量时间序列预测中的优越性，特别是在捕捉复杂特征关系方面的能力。

3.1. Main Takeaways

在这段文字中，作者总结了实验结果，重点展示了SAMformer相对于现有最先进模型的改进程度。以下是详细的解析：

实验结果总结

1. SAMformer的整体表现：

   • SAMformer在8个数据集中的7个数据集上显著超越了其他竞争对手。特别是在与最接近的竞争对手TSMixer+SAM的比较中，SAMformer表现出5.25%的改进。与单独的TSMixer相比，SAMformer提升了14.33%，并且相对于最佳的多变量Transformer模型FEDformer提升了12.36%。
   • SAMformer相对于传统的Transformer模型改进了16.96%。

2. 与最新模型的比较：

   • SAMformer还超越了最近提出的iTransformer和PatchTST这两个基于Transformer的最新方法。iTransformer结合了时间和空间注意力机制，而PatchTST专为单变量时间序列预测设计。
   • 尽管iTransformer在全球表现上有些混合，但在除Exchange数据集外，SAMformer在所有数据集上均击败了iTransformer。尤其是在Exchange数据集上，iTransformer显著超越了所有竞争对手，这也解释了SAMformer在所有数据集上的总体改进为3.94%，但如果不包括Exchange数据集，改进幅度可达到8.38%。
   • 与PatchTST相比，SAMformer表现出11.13%的提升。

3. 排名表现：

   • 对于每个预测时长和数据集（除Exchange外），SAMformer在排名上几乎总是名列第一或第二。特别值得注意的是，SAM的集成显著提高了TSMixer的泛化能力，使其平均提升了9.58%。

4. MAE的结果：

   • 在表6中，通过平均绝对误差（MAE）的研究得出了与MSE分析相似的结论，进一步证明了SAMformer的优越性。

5. TSMixer + SAM作为主要基准：

   • 由于TSMixer + SAM几乎总是排名第二，它成为了进一步讨论的主要基准模型。值得注意的是，SAMformer的参数量仅为TSMixer的四分之一，而且比基于Transformer的方法少了几个数量级。

结论5

通过这段总结，作者清楚地展示了SAMformer在各种多变量时间序列预测任务中的卓越表现。SAMformer不仅在大多数数据集上超越了现有最先进模型，而且它的参数量显著减少，表现出极高的计算效率。这种结果进一步证明了通过SAM和通道级注意力机制等设计选择来优化模型的有效性。
此外，作者还通过Student’s t检验分析（见附录表7）和多次实验验证，确保了这些结果的统计显著性和可靠性。综上所述，SAMformer在多变量长期时间序列预测任务中的表现显著优于其他模型，尤其是在计算效率和泛化能力方面。

Smoother loss landscape.

在这段文字中，作者讨论了在SAMformer的训练中引入SAM优化方法所带来的损失景观（loss landscape）的平滑效果。以下是详细解析：

主要内容

1. 损失景观的平滑性：

   • 作者指出，SAM优化方法的引入使得SAMformer的损失景观比传统Transformer模型更加平滑。损失景观的平滑性（或锐度的降低）意味着模型在训练过程中更稳定，能够更好地泛化到未见数据。

2. 通过λmax值比较损失景观的锐度：

   • 图5a展示了在ETTh1和Exchange数据集上，训练后的SAMformer和Transformer的损失景观的锐度（通过最大特征值λmax来衡量）。
   • 观察结果显示，Transformer的锐度显著更高，说明其损失景观更陡峭。锐度高的损失景观通常意味着模型对小扰动更敏感，容易陷入过拟合，难以泛化。
   • 相反，SAMformer的损失景观锐度要小一个数量级，这意味着其损失景观更平滑，更有利于模型的稳定训练和泛化性能。

结论6

通过这段分析，作者展示了SAM优化方法如何有效地降低损失景观的锐度，使得SAMformer在训练过程中表现出更理想的行为。平滑的损失景观有助于模型在不同数据集上稳定地收敛，并减少过拟合的风险，从而提升模型的实际应用性能。这些结果进一步支持了SAMformer在多变量时间序列预测任务中的优势。

Improved robustness.

在这段文字中，作者讨论了SAMformer模型在随机初始化条件下的鲁棒性（robustness），并通过实验结果展示了其相对于Transformer模型的优势。以下是详细的解析：

主要内容

1. SAMformer的鲁棒性：

   • 作者指出，SAMformer在随机初始化的情况下表现出更强的鲁棒性。这意味着无论初始权重如何，SAMformer都能在不同的运行条件下保持稳定的性能。

2. 实验结果展示：

   • 图5b展示了在ETTh1和Exchange数据集上，预测时长为$H=96$时，SAMformer和Transformer模型在不同随机种子下的测试MSE分布。
   • 结果表明，SAMformer在不同的种子选择下始终保持性能稳定，测试MSE的变化幅度较小。这表明SAMformer的表现不太依赖于初始权重的设置，具有较强的初始化鲁棒性。
   • 相反，Transformer模型的测试MSE分布则显示出显著的方差，表明其性能高度依赖于初始权重，容易受到随机初始化的影响。这种依赖性可能导致模型在实际应用中表现不稳定。

3. 普遍性：

   • 作者还指出，这一观察结果在所有数据集和预测时长上都成立，并在附录B.4中进行了详细说明。这表明SAMformer的鲁棒性不仅限于某个特定的数据集或预测时长，而是具有广泛的适用性。

结论7

通过这段讨论，作者强调了SAMformer在随机初始化条件下的鲁棒性优势。与传统的Transformer模型相比，SAMformer在不同的随机种子下保持了稳定的性能，这表明它对初始权重的敏感性较低，能够在不同的训练条件下始终表现良好。这种鲁棒性对于实际应用尤为重要，因为它确保了模型在面对不确定性时依然能够提供可靠的预测结果。