登上Nature！2025年，时空预测领域将迎来重大突破！

今天给大家推荐一个涨点发顶会的好方向：时空预测。

时空预测是一种对未来某个时间点和某个地点的变量进行预测的方法，它涉及到数据的时间属性和空间属性，因此也被称为时空数据分析或时空建模。时空预测可以应用于多个领域，包括交通流量、气候变化、人类移动、疾病传播等。常见的时空预测方法包括基于统计模型的方法、机器学习方法和深度学习方法等。

1. Earthfasser: Versatile Spatio-Temporal Dynamical Systems Modeling in One Model

   • 这是一个用于模拟时空物理过程和观测的深度学习框架。它通过结合并行局部卷积和全局傅里叶变换架构，能够动态捕捉局部-全局空间交互和依赖关系，并采用多尺度全卷积和傅里叶架构来高效地捕捉时间演化。

2. Sparse Graph Learning from Spatiotemporal Time Series

   • 论文提出了一种基于概率得分的图学习框架，用于从时空时间序列中学习稀疏图。该方法通过学习图上的分布来推断关系依赖项，并最大化任务的端到端性能。

3. GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks

   • 论文提出了一种时空预训练框架，用于提高交通管理和旅行规划中的预测性能。该框架包括一个时空掩码自动编码器作为预训练模型，并引入了一种自适应掩码策略来学习鲁棒的时空表示和不同关系的建模。

这些研究展示了时空预测在不同领域的应用潜力和最新进展，为未来的研究和应用提供了新的方向和工具。我整理出多篇最新论文，并附上开源代码，方便大家复现找灵感！

---

论文精选

论文1：DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting

DYffusion：用于时空预测的动态信息扩散模型 

方法

• 扩散模型：提出了一种新的扩散模型，通过时间动态信息直接耦合模型中的扩散步骤。

• 随机时间条件插值器和预测网络：训练一个随机的时间条件插值器和一个预测网络，分别模拟标准扩散模型的前向和反向过程。

• 多步和长期预测：DYffusion自然支持多步和长期预测，允许灵活的连续时间采样轨迹，并能在推理时加速采样以提高性能。

• 动态信息扩散过程：在DYffusion中，动态信息扩散过程强加了一种归纳偏置，显著提高了与传统高斯噪声基础扩散模型相比的计算效率。

  

创新点

• 时空预测的新视角：从扩散模型的角度研究概率时空预测，特别是在复杂物理系统中，这些系统具有大量维度且数据可用性低（在海面温度、Navier-Stokes流动和弹簧网格系统中的性能竞争表现）。

• 灵活的框架：引入DYffusion，一个灵活的框架，用于多步预测和长期预测范围，利用时间归纳偏置来加速训练并降低内存需求（与传统高斯扩散模型相比，在计算效率上有所提高）。

• 性能提升的具体数据：在Navier-Stokes数据集上，DYffusion在CRPS和MSE指标上分别取得了0.067 ± 0.003和0.022 ± 0.002的成绩，相较于其他方法如Dropout和MCVD有显著提升。

• 理论与实际应用：证明了DYffusion是一个隐式模型，学习动态系统的解决方案，并且冷采样可以被解释为其欧拉方法的解。

---

论文2：Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding

基于图网络和时间引导嵌入的时空数据需求预测

方法

• 图网络：利用图网络提取每个区域复杂的时空特征，这些特征对相邻区域的位置排列不变。

• 时间引导嵌入：通过学习时间上下文明确捕捉时间循环模式，而不是依赖长期需求历史。

• 短时需求预测：提出了一个样本和高效的短期需求预测基线模型TGNet，该模型在没有外部数据源的情况下显示出与其他模型相当的性能。

创新点

• 图网络的排列不变操作：通过图网络的排列不变操作，减少了模型大小并提高了预测性能，与STDN模型相比，可训练参数数量减少了约20倍。

• 时空特征提取：与先前方法不同，TGNet同时提取复杂的时空特征，而不是分别提取空间和时间特征。

• 时间引导嵌入：提出了时间引导嵌入来有效处理时间循环模式，如周期性和季节性，而不是直接输入几天/几周前的历史数据（在实验中，时间引导嵌入显著提高了预测性能）。

• 性能提升的具体数据：在SEO-taxi数据集上，TGNet在RMSE和MAPE指标上分别取得了25.35和35.72的成绩，优于其他比较模型，且参数数量大约是STDN的1/20。

---

论文3：Spatiotemporal Multi-Graph Convolution Network for Ride-Hailing Demand Forecasting

用于网约车需求预测的时空多图卷积网络

方法

• 多图卷积网络（ST-MGCN）：提出了一种新的深度学习模型，用于网约车需求预测，通过编码区域间的非欧几里得成对相关性到多个图，并使用多图卷积明确建模这些相关性。

• 上下文门控循环神经网络（CGRNN）：提出了一种循环神经网络的增强版本，通过基于全局信息的上下文感知门控机制重新加权不同历史观测。

  

创新点

• 非欧几里得相关性的编码：首次识别并编码了网约车需求预测中区域间的非欧几里得相关性，并使用多个图进行编码。

• 多图卷积的应用：利用多图卷积明确建模区域间的成对关系，与仅使用图嵌入作为额外特征的方法相比，能够聚合相关区域的需求值。

• 上下文门控循环神经网络：提出了CGRNN以纳入全局上下文信息，在建模时间依赖时，通过学习基于总结的全局信息的门控机制，重新加权不同时间戳的观测。

• 性能提升的具体数据：在两个真实世界的大规模网约车需求数据集上评估，ST-MGCN一致性地实现了超过10%的相对误差降低，超越了最先进的基线方法。

---

论文4：Long-Range Transformers for Dynamic Spatiotemporal Forecasting

用于动态时空预测的长程变换器

方法

• 长程变换器（Spacetimeformer）：将多变量预测转化为“时空序列”表述，其中每个变换器输入标记代表特定时间的单个变量的值。

• 时空注意力机制：允许变换器架构联合学习空间、时间和值信息之间的交互。

  

创新点

• 时空序列表述：提出了一种新的时空序列表述，允许变换器架构在扩展序列中联合学习空间和时间的注意力网络，创造了“时空注意力”机制。

• 无需硬编码图的动态空间建模：与依赖预定义图的方法相比，Spacetimeformer能够从数据中纯粹学习时空关系，无需依赖硬编码的图。

• 性能提升的具体数据：在交通预测、电力需求和天气预测等基准测试中取得了与专业基线相媲美的竞争力结果，证明了单一方法在多个领域的有效性。

• 长序列处理：探索了包括快速注意力、混合卷积架构、局部-全局和移位窗口注意力以及自定义时空嵌入方案等多种策略，以处理长序列长度的问题。

资料