DYffusion阅读笔记 “DYffusion: A Dynamics-informed Diffusion Model for Spatiotemporal Forecasting“

最新推荐文章于 2025-04-16 13:00:34 发布

我要七分甜

最新推荐文章于 2025-04-16 13:00:34 发布

阅读量1.5k

点赞数 22

文章标签：笔记

本文链接：https://blog.csdn.net/m0_55333280/article/details/141029672

版权

引言

动态预测是指预测动态系统未来行为的任务，设计学习控制系统演化的潜在动态，以对其未来状态做出准确的预测。高斯diffusion在正向过程中使用高斯噪声不同程度地破坏数据，然后通过反向过程对随机输入进行去噪以得到高度真实的样本。然而，在高维度上将噪声映射到真实数据十分具有挑战性，因此扩散模型的计算成本非常高。而且，扩散模型多用于静态图像，即使是能生成真实样本的video diffusion model也没有明确利用数据的时间性质来生成准确的预测。

本文贡献：

从扩散模型的角度研究概率时空预测。
提出了用于多步骤预测和长期视野的DYffusion框架，此框架通过时间归纳偏差来加速训练和降低内存要求。并且探讨了该方法的理论含义，DYffusion是学习动力系统解的隐式模型，cold sampling可以解释为它的欧拉方法解。
从预测性能和算力要求两个方面与conditional video diffusion models等先进的概率方法进行对比试验。结果表明，相较于高斯扩散模型，DYffusion提高了计算效率。

背景

问题提出

给定一组快照数据集 $\left \{ \rm{x}_t \right \} _{t=1}^T \in \mathcal{X}$ （ $\mathcal{X}$ 由空间维度（例如纬度、经度和大气高度）和通道维度（例如速度、温度和湿度）组成，表示数据所在的空间），概率预测的任务是学习条件分布 $P(\rm{x}_{t+1:t+h}|\rm{x}_{t-l+1:t})$ ，用l张过去的快照来预测接下来连续的h个快照。本文从单个初始条件开始进行预测任务，即学习 $P(\rm{x}_{t+1:t+h}|\rm{x}_{t})$ 。

扩散过程

为了将扩散步骤的状态和 $\left \{ \rm{x}_t \right \} _{t=1}^T$ 的时间步区分开，我们用上标n来表示扩散步状态 $s^{(n)}$ 。这个操作可以概括为，假设我们有一个退化算子D，以数据点 $s^{(0)}$ 为输入，针对不同程度的退化比例输出 $s^{(n)}=D(s^{(0)},n)$ ， $n \in \left \{1,...,N \right \}$ 。通常，D加入带有递增方差的高斯噪声使得 $s^{(N)}\sim \mathcal{N} (\mathbf{0},\mathbf{I})$ 。使用 $\theta$ 参数化一个去噪网络，训练 $R_{\theta }$ 来恢复 $s^{(0)}$ 。扩散模型可以通过考虑 $R_{\theta }(s^{(n)},\rm{x}_t,n)$ 来根据输入动态进行条件设定。在动态预测中，可以训练扩散模型以最小化目标：