牛津大学等提出：时间序列和时空数据的扩散模型最新综述

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和扩散模型】交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

今天给大家介绍一篇最新扩散模型在时间序列、时空数据中的应用的综述文章，由牛津大学、港科大、微软亚研院等12个机构联合发表。

题目：A survey on diffusion models for time series and spatio-temporal data

论文链接：https://arxiv.org/abs/2404.18886

项目地址：https://github.com/yyysjz1997/Awesome-TimeSeries-SpatioTemporal-Diffusion-Model

作者：Yiyuan Yang (杨毅远), Ming Jin (金明), Haomin Wen (温浩珉), Chaoli Zhang (张超利), Yuxuan Liang (梁宇轩)^*, Lintao Ma (马琳涛), Yi Wang (王毅), Chenghao Liu (刘成昊), Bin Yang (杨彬), Zenglin Xu (徐增林), Jiang Bian (边江), Shirui Pan (潘世瑞), Qingsong Wen (文青松)^*

机构：牛津大学，莫纳什大学，北京交通大学，香港科技大学（广州），浙江师范大学，蚂蚁集团，香港大学，Salesforce，华东师范大学，复旦大学，微软亚洲研究院，格里菲斯大学，松鼠AI

1

概述

时间序列（Time series）的研究对于理解趋势、周期和异常具有关键作用，可以在各个领域提供超前的洞察力；时空数据（Spatio-temporal data）对于分析空间和时间中的各种特征至关重要，为复杂系统的交互关系提供了动态视角。近年来，扩散模型（Diffusion model）在时间序列和时空数据挖掘中得到了广泛应用，不仅增强了对序列和时空数据的生成和推断能力，还扩展到其他下游任务。本综述对扩散模型在时间序列和时空数据中的应用进行了全面而深入的梳理，并按模型类别（Model）、任务类型（Task）、数据模态（Data）和应用（Application）进行了分类。

具体来说，我们将扩散模型分为无条件模型和条件模型，并分别讨论时间序列和时空数据。无条件模型在无监督的情况下运行，进一步细分为基于概率的模型和基于分数的模型，服务于预测和生成任务，例如预测、异常检测、分类回归、补全和去噪。而条件模型利用额外信息来提升性能，同样被细分为预测和生成任务两种类型。

本综述广泛覆盖了扩散模型及其变种在医疗保健、推荐系统、气候、能源、音频和交通运输、智能运维、金融等多个领域的应用，为这些模型在分析和生成数据方面提供了基础性认识。通过结构化的概述，本文希望为研究者和实践者提供关于扩散模型在时间序列和时空数据分析中的全面理解，从而通过解决传统挑战并探索扩散模型框架中的创新解决方案，引导未来的创新和应用。

2

内容介绍

扩散模型（Diffusion model）是一类概率生成模型，其通过在训练样本中注入和去除噪声的双重过程进行优化和生成。这个过程包括正向阶段（称为扩散Diffusion）和逆向阶段（称为去噪denoising）。模型通过学习在扩散过程中去除噪声，从而在推理阶段生成与训练数据分布高度一致的有效数据。

近年来，扩散模型崭露头角，对多个领域产生了重大影响，包括计算机视觉（CV）、自然语言处理（NLP）以及通用的多模态学习，这也挑战了生成对抗网络（GAN）的长期统治地位。在这些领域中，扩散模型在文生图、实例分割、3D生成、分子设计和音频/语音生成等应用上展现了卓越的能力。值得注意的是，扩散模型也开始作为一种非自回归的替代方案应用于传统上由自回归方法主导的任务中。最近，OpenAI发布的Sora标志着扩散模型开始用于建模嵌入时空连续体中的物理世界，进一步凸显了其重要性。  

序列数据，主要包括时间序列和时空数据，它们捕捉了绝大多数现实世界系统的动态变化。这些形式的序列数据经过广泛研究，被认为在众多应用中至关重要。然而，在这一领域，从多种数据模式中推导出物理世界中的普遍动态规律仍然是一个重大挑战。近些年来，时间序列和时空数据建模领域正从感知智能逐渐向通用智能发展。

扩散模型在包括图像、语音和视频等多种模式中取得了最先进的成果。受益于这些领域中大量可用的数据，扩散模型通常与大型语言模型（LLM）或其他基础模型一起作为生成式基础模型，推动了这些领域的快速发展。近年来，越来越多的使用扩散模型的研究工作被用于时间序列和时空数据建模。我们也注意到，使用扩散模型进行序列建模的尝试越来越多。观察到扩散模型的成功后，一个有趣的问题浮现：时间序列/时空数据分析与扩散模型的交叉会碰撞出什么样的火花？

时间序列和时空数据分析主要依赖于对其内在序列动态地深入理解，主要任务侧重于骨干模型的生成能力，如预测、补全和生成。这些分析的核心在于以条件或无条件的方式为特定目的生成序列数据样本。最近时间序列和时空基础模型的发展表明，不论是基于大语言模型构建还是从头开始训练，其成功的关键在于能够估计训练样本的分布并获得有效的数据表示。在这方面，扩散模型作为一种强大的生成框架，具备以下能力：（1）建模序列数据中的复杂模式，以及（2）支持广泛的下游任务。

为了生成符合特定任务的数据样本，时间序列和时空扩散模型通常以无条件的方式运行，无需监督信号。鉴于现实世界应用的部分可观测特性，条件扩散模型应运而生。它们利用数据标签（如指令、元数据或外部变量）来“引导”生成过程，从而实现更有效的跨模态提示，带来更量身定制和改进的结果。通过对大规模序列数据的训练，扩散模型有效填补了时间序列/时空数据生成的空白，并在解决下一代、由大语言模型赋能的时间数据中心化代理的难题方面展现出巨大潜力。

尽管扩散模型在处理时间序列和时空数据方面前景广阔并取得了快速进展，但现有文献中明显缺乏对这一模型家族的系统分析。本文旨在填补这一空白，通过提供前瞻性的综述，阐明“为什么”和“如何”——详细说明扩散模型适用于这些数据模式的原因，并揭示其带来优势的机制。在本次综述中，我们提供了详细的分类、深入的评论，并识别了这一迅速发展的领域中的新兴趋势。

本文其余部分结构如下：第二章提供了扩散模型的全面背景知识，包括其历史发展、优势、理论基础和各种变种及优化算法。第三章对应用于时间序列和时空数据的扩散模型进行了结构化的概述和分类，为第四章中模型视角（Model）的更深入探讨奠定了基础。第五章聚焦于任务视角（Task），研究扩散模型如何解决预测、生成、补全、异常检测等下游任务。第六章讨论数据视角（Data），突出时间序列和时空数据中不同类别数据的特定挑战和解决方案。第七章探讨了扩散模型在医疗保健、推荐系统、交通、气候、能源电力、语音、金融、智能运维等多个领域的应用（Application），展示了其广泛的实用性。最后，在第八章展望了未来的机遇和潜在问题（Outlook），并给出了总结性意见。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看