NeurIPS 2023 时空预测论文总结
欢迎关注公众号“时空探索之旅”
本文总结了NeurIPS 2023 有关时空预测（spatial-temporal forecasting，STF）的文章，包含稀疏性、大模型，气象预测，扩散模型等工作。
1. Sparse Graph Learning from Spatiotemporal Time Series
作者：Andrea Cini, Daniele Zambon, Cesare Alippi
链接：https://neurips.cc/virtual/2023/poster/73924
JMLR 2023：https://www.jmlr.org/papers/volume24/22-1154/22-1154.pdf
关键词：稀疏图、时空图预测
摘要：图神经网络在时空时间序列分析方面的杰出成就表明，关系约束将有效的归纳偏差引入神经预测架构中。 然而，通常，表征底层数据生成过程的关系信息是不可用的，并且实践者面临从数据推断在后续处理阶段使用哪个关系图的问题。 本文提出了新颖、有原则但又实用的基于概率评分的方法，该方法将关系依赖性学习为图上的分布，同时最大化任务的端到端性能。 所提出的图学习框架基于用于蒙特卡罗分数的梯度估计的综合方差减少技术，具有理论基础，并且正如所表明的，在实践中有效。 本文重点关注时间序列预测问题，并表明，通过针对图学习问题定制梯度估计器，能够在控制学习图的稀疏性和计算可扩展性。 根据经验评估了所提出的方法在综合和现实世界基准上的有效性，表明所提出的解决方案可以用作独立的图识别过程以及端到端预测架构的图学习组件。
2. Generative Pre-Training of Spatio-Temporal Graph Neural Networks
作者：Zhonghang Li, Lianghao Xia, Yong Xu, Chao Huang
链接：https://neurips.cc/virtual/2023/poster/70508
arXiv：https://arxiv.org/abs/2311.04245
code：https://github.com/HKUDS/GPT-ST
paperweekly解读：NeurIPS 2023 | GPT-ST：生成式时空预训练模型
关键词：大模型、预训练、时空预测
摘要：近年来，为了满足交通管理和出行规划日益增长的需求，时空预测技术得到了快速发展。 虽然先进的端到端模型在提高预测性能方面取得了显着的成功，但它们的集成和扩展提出了重大挑战。 这项工作旨在通过引入时空预训练框架来应对这些挑战，该框架与下游基线无缝集成并增强其性能。 该框架建立在两个关键设计之上：（i）提出了一种时空掩码自动编码器作为学习时空依赖性的预训练模型。 该模型结合了定制参数学习器和分层空间模式编码网络。 这些模块专门设计用于捕获时空定制表示以及簇内和簇间区域语义关系，这些在现有方法中经常被忽视。 （ii）提出自适应掩模策略作为预训练机制的一部分。 该策略指导掩模自动编码器学习鲁棒的时空表示，并以从易到难的训练方式促进从簇内到簇间的不同关系的建模。 在代表性基准上进行的大量实验证明了提出的方法的有效性。 我
3. Improving day-ahead Solar Irradiance Time Series Forecasting by Leveraging Spatio-Temporal Context
作者：Oussama Boussif, Ghait Boukachab, Dan Assouline, Stefano Massaroli, Tianle Yuan, Loubna Benabbou, Yoshua Bengio
链接：https://neurips.cc/virtual/2023/poster/70031
arXiv：https://arxiv.org/abs/2306.01112
代码：https://github.com/gitbooo/CrossViVit
关键词：时空预测
摘要：太阳能在通过大幅减少二氧化碳排放来缓解气候变化方面具有巨大潜力。 尽管如此，太阳辐照度固有的可变性对将太阳能无缝集成到电网提出了重大挑战。 虽然大多数先前的研究都集中于采用纯粹基于时间序列的方法进行太阳预报，但只有有限数量的研究考虑了云层覆盖或周围物理环境等因素。 在本文中，提出了一种深度学习架构，旨在利用卫星数据利用时空背景，以获得任何给定站点的高精度 day-ahead \textit{day-ahead} day-ahead 时间序列预测，特别强调预测全球水平 辐照度 (GHI)。 还提出了一种提取每个时间步预测的分布的方法，这可以作为预测附加的不确定性的非常有价值的度量。 在评估模型时，提出了一种测试方案，将特别困难的示例与简单的示例分开，以便捕获关键情况下的模型性能，在本研究中，这些情况是遭受不同多云条件的日子。 此外，提出了一个新的多模式数据集，收集来自多个地理位置不同的太阳站的大区域和时间序列的太阳辐照度和其他相关物理变量的卫星图像。 本文方法在太阳辐照度预测方面表现出强大的性能，包括在未观测的太阳能站进行的零样本泛化测试，并在促进太阳能发电有效并入电网方面具有广阔的前景。
4. Taming Local Effects in Graph-based Spatiotemporal Forecasting
作者：Andrea Cini, Ivan Marisca, Daniele Zambon, Cesare Alippi
链接：https://neurips.cc/virtual/2023/poster/70034
arXiv：Taming Local Effects in Graph-based Spatiotemporal Forecasting
code：https://github.com/Graph-Machine-Learning-Group/taming-local-effects-stgnns
关键词：时空图预测
摘要：时空图神经网络已被证明在时间序列预测应用中是有效的，在多种设置中实现了比标准单变量预测器更好的性能。 这些架构利用图结构和关系归纳偏差来学习单个（全局）归纳模型来预测任意数量的输入时间序列，每个输入时间序列与一个图节点相关联。 尽管在计算和数据效率方面取得了进步。 每当某些时间序列是由不同的时空随机过程生成时，依赖单个全局模型来拟合一组局部模型可能会受到限制。 本文的主要目标是了解基于图的时空预测中全局性和局部性之间的相互作用，同时提出一种方法框架来合理化在此类架构中包含可训练节点嵌入的实践。 将可训练的节点嵌入归因于分摊专业组件学习的作用。 此外，嵌入允许 1) 有效地将共享消息传递层的优点与特定于节点的参数相结合；2) 有效地将学习到的模型转移到新的节点集。 在强有力的经验证据的支持下，为将基于图的模型专门化到每个时间序列的动态提供了见解和指南，并展示了这一方面如何在获得准确预测方面发挥着至关重要的作用。
5. DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting
作者：Salva Rühling Cachay, Bo Zhao, Hailey James, Rose Yu
链接：https://neurips.cc/virtual/2023/poster/71410 arXiv：https://arxiv.org/abs/2306.01984
code：https://github.com/Rose-STL-Lab/dyffusion
关键词：扩散模型、时空预测
摘要：虽然扩散模型可以成功生成数据并做出预测，但它们主要是为静态图像设计的。 提出了一种有效训练概率时空预测扩散模型的方法，其中生成稳定且准确的推出预测仍然具有挑战性，DYffusion 利用数据中的时间动态，将其与模型中的扩散步骤直接耦合。 训练一个随机的、时间条件插值器和一个预测器网络，分别模拟标准扩散模型的正向和反向过程。 DYffusion 自然地促进了多步骤和长期预测，允许高度灵活的连续时间采样轨迹，并且能够在推理时权衡性能与加速采样。 此外，与传统的基于高斯噪声的扩散模型相比，DYffusion 中的动力学信息扩散过程具有很强的归纳偏差，并显着提高了计算效率。 该方法在海面温度、纳维-斯托克斯流和弹簧网格系统等复杂动态的概率预测方面具有竞争力。
6. Deciphering Spatio-Temporal Graph Forecasting: A Causal Lens and Treatment
作者：Yutong Xia, Yuxuan Liang, Haomin Wen, Xu Liu, Kun Wang, Zhengyang Zhou, Roger Zimmermann
链接：https://neurips.cc/virtual/2023/poster/73036
arXiv：https://arxiv.org/abs/2309.13378
关键词：时空预测、因果推断
摘要：时空图（STG）预测是许多现实应用中的一项基本任务。 时空图神经网络已成为 STG 预测最流行的方法，但它们经常遇到时间分布外 (OoD) 问题和动态空间因果关系。 本文提出了一个名为 CaST 的新颖框架，通过因果处理来应对这两个挑战。 具体来说，利用因果透镜，首先构建一个结构因果模型来破译 STG 的数据生成过程。 为了处理时态 OOD 问题，通过一种新颖的解纠缠块进行后门调整，将不变部分和时态环境与输入数据分开。 此外，利用前门调整并采用 Hodge-Laplacian 算子进行边缘级卷积来模拟因果关系的连锁反应。 在三个真实世界数据集上的实验结果证明了 CaST 的有效性和实用性，它始终优于现有方法并具有良好的可解释性。
相关链接
NeurIPS 2023 时间序列(Time Series)论文总结
欢迎关注公众号“时空探索之旅”
948
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
