RPMixer 论文解析

摘要

空间-时间预测系统在解决现实世界的问题中起着关键作用。本文探讨了使用通用时间序列预测模型（即不利用节点间空间关系的模型）来解决空间-时间预测问题的潜力。我们提出了一种名为 RPMixer 的全多层感知机（MLP）时间序列预测架构。选择全 MLP 架构的原因是其在时间序列预测基准测试中的成功表现。此外，我们的方法利用了深度神经网络的集成行为，其中网络内的每个独立块都像集成模型中的基础学习者，特别是在引入恒等映射残差连接时。通过将随机投影层整合到模型中，我们增加了块输出之间的多样性，从而提升了网络的整体性能。大量实验表明，该方法在大型空间-时间预测基准数据集上优于其他方法，包括空间-时间图模型和通用预测模型。

论文地址：https://arxiv.org/pdf/2402.10487v4

1. 引言

空间-时间预测系统在交通流量预测等许多实际问题中非常重要。传统上，基于图的方法被用于解决这些问题，这些方法利用时间序列和空间信息来预测未来。然而，这些方法可能在处理大规模空间-时间数据集时面临计算挑战。本文提出的问题是：如何在不使用输入图的情况下保持可扩展性和高性能？

我们提出 RPMixer 来解决这个问题，将空间-时间预测问题转化为多维时间序列预测问题。该方法采用全多层感知机（all-MLP）架构，能够避免计算代价高昂的成对相似度矩阵。通过引入随机投影层，RPMixer 提升了学习节点关系的能力。此外，为了捕获时间序列中的周期性特征，RPMixer 使用快速傅立叶变换（FFT）在频域内处理时间序列。

2. 相关工作

空间-时间预测方法通常使用图或网格格式来表示空间信息。现有的基于图的方法（如 DCRNN、STGCN 等）通过结合图卷积网络和序列建模架构来实现预测，但在大型数据集上可能面临计算和空间复杂性问题。本文的目标是设计一种仅使用多层感知机（MLP）的模型，以避免计算代价高昂的图表示。

3. 问题定义

给定一个空间-时间数据集中的邻接矩阵和历史时间序列，目标是学习一个模型来预测未来的时间序列矩阵。在没有输入图的情况下，这个问题可以被看作多维时间序列预测问题。

4. 方法

RPMixer 采用了类似 TSMixer 的全 MLP 架构，但在三个方面有所不同：1）强调使用预激活设计的恒等映射连接；2）引入随机投影层来增加不同混合器块之间的输出多样性；3）通过在频域内处理时间序列来增强模型的时序建模能力。

4.1 复线性层：利用 FFT 将时间序列转换到频域，然后通过两个线性层分别处理实部和虚部，以捕获时序中的周期性特征。

4.2 随机投影层：这是一个固定、随机初始化的线性层，能够保留高概率的时间序列之间的关系，增加了模型的多样性。

4.3 预激活恒等映射：恒等映射连接用于创建类似于集成模型的行为，从而增强了模型的性能。

5. 实验

在大型空间-时间数据集 LargeST 上进行了实验，验证了 RPMixer 的有效性。实验结果表明，RPMixer 在各种评估指标上优于现有的方法，尤其是在较大的数据集上。

6. 结论

本文提出了一种名为 RPMixer 的空间-时间预测方法，通过引入随机投影层，增强了模型的多样性和性能。未来的研究将探索使用时间序列基础模型解决空间-时间预测问题的潜力。

---

总结

RPMixer 是一种用于大型空间-时间数据集预测的新方法，通过随机投影增强多层感知机（MLP）模型的性能。该方法主要优势在于：

• 创新点：引入随机投影层，增加了模型中不同块的输出多样性。该方法不依赖于输入图，从而避免了传统方法在计算相似度矩阵时的高空间复杂性。同时，RPMixer 在频域内处理时间序列，以捕获时序中的周期性特征。
• 优点：相比基于图的传统空间-时间预测模型，RPMixer 具有更好的可扩展性和计算效率，尤其在大型数据集上表现优异。其全 MLP 架构简化了模型设计，避免了计算成本高昂的图卷积操作。
• 缺点：由于 RPMixer 不利用输入图的空间关系，在某些特定任务中可能会损失部分空间信息。此外，随机投影层的引入增加了模型的复杂度和参数数量，在小规模数据集上可能没有显著的优势。
• 可改进点：未来研究可以探索结合其他空间信息的方式，如通过数据驱动的方法自动学习空间关系。此外，可以研究如何更好地利用 FFT 处理非周期性时间序列，以提升 RPMixer 在不同类型时间序列上的泛化能力。

总的来说，RPMixer 提供了一种创新的空间-时间预测解决方案，通过引入随机投影增加了模型的多样性，具有良好的扩展性和效率。