2025时间序列发高区必备:扩散模型+时间序列!

2025时间序列发高区,把准这个方向就够了:扩散模型+时间序列!

一方面,其是近年新兴的方向,还不算卷。且Sora等模型发布后,扩散模型技术进步飞快,给我们论文创新提供了诸多机会。比如近期谢赛宁团队便发布新作,开创扩散模型新范式。

另一方面,扩散模型在提升时序模型性能方面,不可替代!比如模型Diffusion-TS便在90%的数据缺失率时,实现了预测误差直降84.9%的炸裂效果!这是因为时序数据通常具有高度的连续性和动态性,传统方法往往难以捕捉其内在的复杂规律。而扩散模型通过模拟数据的随机扩散过程,能更好地捕捉数据的动态变化,从而提供更准确的预测。

大家可以从提高扩散模型的计算效率、先验知识引导生成、结合多模态数据等方面入手发文。为方便大家研究的进行,我给大家准备了12篇必读高质量论文和源码

论文原文+开源代码需要的同学看文末

TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model

内容:本文介绍了一种名为TimeDiT的时间序列基础模型,它结合了Transformer架构和扩散模型的去噪能力,旨在解决时间序列分析中的多任务问题。TimeDiT通过新颖的掩码机制和通道对齐策略,能够处理多分辨率数据、缺失值等实际问题,并支持在采样过程中无缝融入外部知识(如物理定律)而无需更新模型参数。实验表明,TimeDiT在预测、填补缺失值、异常检测等任务上表现出色,展示了其作为通用时间序列模型的潜力。

Auto-Regressive Moving Diffusion Models for Time Series Forecasting

内容:本文提出了一种名为ARMD的时间序列预测模型,受经典自回归移动平均(ARMA)理论启发,将时间序列的演变视为一个扩散过程。与传统扩散模型不同,ARMD采用链式扩散,以未来序列为初始状态,历史序列为最终状态,通过滑动操作生成中间状态,从而更好地模拟时间序列的连续演变特性。实验表明,ARMD在多个基准数据集上显著优于现有的扩散模型和其他时间序列预测模型,展现出更高的预测准确性和稳定性。

Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting

内容:本文提出了一种名为TimeDART的新型生成式自监督学习框架,用于时间序列预测。TimeDART通过将时间序列划分为多个片段(patch)作为基本建模单元,结合Transformer编码器捕捉片段间的全局依赖关系,并引入扩散和去噪机制来建模片段内的局部特征。此外,该模型采用自回归方式优化,以减少预训练与微调任务之间的差距,并通过交叉注意力机制的去噪解码器实现可调节的优化难度。

Retrieval-Augmented Diffusion Models for Time Series Forecasting

内容:本文提出了一种名为RATD的检索增强型扩散模型,用于时间序列预测。该模型通过检索与历史时间序列最相关的样本作为参考,并利用这些参考指导扩散模型的去噪过程,从而提高预测的准确性。RATD特别关注解决现有时间序列扩散模型在复杂预测任务中的性能不稳定问题,通过检索机制充分利用有限的数据集,并缓解数据不平衡带来的挑战。实验结果表明,RATD在多个真实世界数据集上表现出色,尤其在处理复杂预测任务时优于现有方法。

码字不易,欢迎大家点赞评论收藏!

关注下方《AI科研技术派》

回复【DMTT】获取完整论文

👇

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值