扩散模型+时间序列！这个创新思路必将爆发

2024深度学习发论文&模型涨点之——扩散模型+时间序列

扩散模型在时间序列和时空数据中的应用正日益成为一种新兴趋势，旨在解决传统自回归模型在处理复杂依赖、数据缺失和长期预测方面的限制。通过引入新的结构和策略，扩散模型提升了时间序列分析的精度和效率。

例如，TimeGrad和D3VAE利用扩散概率模型增强预测能力。TimeGrad专注于自回归技术进行概率预测，而D3VAE引入了包含扩散和去噪过程的双向变分自编码器。

我整理了一些扩散模型+时间序列【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。

论文精选

论文1：

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

Diffusion Policy：通过动作扩散学习视动策略

方法

条件去噪扩散过程：将机器人的视动策略表示为条件去噪扩散过程，以生成机器人行为。

动作分布得分函数梯度学习：通过学习动作分布得分函数的梯度，并在推理过程中通过一系列随机Langevin动力学步骤进行优化。

高维动作序列预测：适用于高精度动作序列预测，通过迭代优化动作序列。

创新点

多模态动作分布表达：首次将扩散模型应用于机器人视动策略学习，能够表达任意可归一化的分布，包括多模态动作分布。

高维输出空间的可扩展性：在高维输出空间中表现出色，适用于高精度动作序列预测。

训练稳定性提升：通过避免负采样估计不可行的归一化常数，实现了稳定的训练过程。

性能提升：在多个复杂真实世界机器人操作任务中验证了方法的有效性，平均成功率提高了46.9%。

论文2：

MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process

MG-TSD：具有引导学习过程的多粒度时间序列扩散模型

方法

多粒度数据生成：通过平滑细粒度数据生成不同粒度级别的粗粒度时间序列数据。

时间过程模块：利用RNN架构在每个粒度级别上单独编码时间序列序列。

引导扩散过程模块：利用多粒度数据作为给定目标来指导扩散学习过程，以生成稳定的预测。

创新点

多粒度引导损失函数：引入了一种新的多粒度引导损失函数，有效地指导扩散学习过程。

粗粒度数据的有效利用：通过利用不同粒度级别的粗粒度数据实例，提高了模型的预测性能。

性能提升：在真实世界数据集上的广泛实验证明了所提模型的优越性，CRPSsum值平均降低了10%以上。

论文3：

Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting

预测、优化、合成：用于概率时间序列预测的自引导扩散模型

方法

无条件训练的扩散模型TSDiff：提出了一种无条件训练的扩散模型TSDiff，用于时间序列。

自引导机制：提出了一种自引导机制，使模型在推理过程中能够被条件化，而无需辅助网络或改变训练过程。

预测优化：通过利用TSDiff学习的隐式概率密度来优化基础预测器的预测。

创新点

无条件扩散模型的应用：首次将无条件扩散模型应用于时间序列预测，无需额外的临床注释。

自引导机制：通过观察自引导优化模型的预测性能，减少了计算开销。

性能提升：在多个基准数据集和预测场景上的实验表明，观察自引导与任务特定的条件基线具有竞争力，CRPS值平均降低了15%。

论文4：

ImDiffusion: Imputed Diffusion Models for Multivariate Time Series Anomaly Detection

ImDiffusion：用于多变量时间序列异常检测的插补扩散模型

方法

时间序列插补：利用扩散模型作为时间序列插补器，以准确捕获复杂的依赖关系。

光栅掩蔽策略：开发了一种光栅掩蔽策略，以在数据中创建缺失值进行插补。

多步去噪输出：利用扩散模型的独特推理过程中的逐步去噪输出作为异常预测的额外信号。

集成投票机制：通过集成投票机制进一步提高推理的准确性和稳健性。

创新点

插补技术与异常检测结合：首次将插补技术与多变量时间序列异常检测相结合，并引入扩散模型到该领域。

性能提升：在多个基准数据集上进行了广泛的实验，结果表明ImDiffusion在检测准确性和及时性方面均显著优于其他方法，具体表现为F1分数提高了11.4%。

光栅掩蔽策略：通过光栅掩蔽策略，增强了正常和异常数据之间的决策边界，提高了异常检测的准确性。