太牛!TimeDIT 与 RATD 借助扩散模型 +时间序列预测，强势出圈!

当下，扩散模型在生成任务里表现非常亮眼，可时间序列预测却被数据稀疏、长程依赖建模难等问题困扰。要是把它们俩结合，会发生什么呢？

最近，TimeDiT和RATD两篇论文带来了新思路。TimeDiT融合Transformer和扩散模型，用统一掩码机制适配多种时间序列任务，还融入物理知识，让生成样本更靠谱。RATD首次引入检索增强机制，靠相似样本优化扩散模型去噪，预测更精准。从特点上看，TimeDiT主打通用性，一个模型搞定补全、预测、生成等任务；RATD则专注优化数据利用，检索历史数据来提升推理能力，在复杂任务上比传统扩散模型更强。

扩散模型潜力无限，时间序列预测在多个领域又至关重要。我给大家找了【12篇】相关论文，希望能为你的研究带来新灵感，也欢迎分享给身边的朋友~

【论文 1】TIMEDIT: GENERAL-PURPOSE DIFFUSION TRANSFORMERS FOR TIME SERIES FOUNDATION MODEL

 

1.研究方法

论文提出了 TimeDiT 模型，对多元时间序列问题进行统一建模。借助扩散模型和 Transformer 架构，通过统一掩码机制开展自监督学习，并且在采样时能够融入物理知识，以此来解决多种时间序列任务。

2.论文创新点

PCA Evaluation of Synthetic TSD from TimeDiT and other baselines on the sine dataset

1. 架构融合革新：创新性地将 Transformer 和扩散模型融合在一起，统一掩码机制使其能够处理多种时间序列任务，打破了传统模型的局限。

2. 知识注入革新：开发出无需对模型进行编辑的物理知识注入方法，以物理方程作为先验，确保生成的样本符合物理定律，提高了模型的实用性。

3. 实验验证革新：从多个角度进行全面的实验评估，在零样本、微调等多种设置下都展现出卓越的性能、跨任务适应能力和领域知识融合能力。

【论文2】Retrieval-Augmented Diffusion Models for Time Series Forecasting

 

1.研究方法

 

论文提出了检索增强时间序列扩散模型（RATD），首先基于嵌入检索机制，利用预训练编码器寻找相似的参考样本，然后通过参考引导的时间序列扩散模型及 RMA 模块，利用参考信息指导去噪，从而完成时间序列预测。

2.论文创新点

The structure of µθ

1. 引入 RATD 框架：首次将检索增强机制应用于时间序列预测，充分利用数据集，解决了现有模型指导不足和数据利用不充分的问题。

2. 设计 RMA 模块：设计了 RMA 模块来融合多种特征，为去噪过程提供合理的指导，在提升性能的同时控制计算成本。

3. 实验效果优异：在多个数据集上进行实验，RATD 相比基线方法取得了更出色的效果，在复杂任务中的优势尤为明显。

需要论文合集和代码资料的

看我主页【时序之心】