近期值得关注的扩散模型Diffusion与时间序列结合的文章

最新推荐文章于 2025-01-20 19:23:31 发布
最新推荐文章于 2025-01-20 19:23:31 发布
阅读量3.6k 收藏 28
点赞数 32
分类专栏： 时间序列 文章标签： transformer 深度学习 人工智能 时间序列 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010681011/article/details/142311481
版权

扩散模型

扩散模型（diffusion model）是一类生成模型，运用了物理热力学扩散思想，主要用于对复杂数据分布进行建模和采样。以图片生成举例简要介绍下扩散模型运作方法。给定目标分布q(x)中的一些观测数据x，生成模型的目标是学习一个生成过程，从q(x)产生新样本。通过注入高斯噪声逐步扰动观测数据，然后应用 一个可学习的转换核心进行逆过程以恢复数据。

在概念上，其实就像是米开朗基罗说的：“塑像就在石头里，我只是把不需要的部分去掉”，扩散模型做的事情是相同的。目前扩散模型已经在时间序列的预测、插值和生成任务中崭露头角，本文总结和ICLR2024五篇扩散模型和时序任务结合的文章。

1

Diffusion-TS

论文标题：DIFFUSION-TS: INTERPRETABLE DIFFUSION FOR GENERAL TIME SERIES GENERATION（ICLR2024）

论文提出Diffusion-TS，利用带有解耦时间表示的编码器-解码器Transformer，生成高质量的多变量时间序列样本。在这个框架中，论文采用一种分解技术，使Diffusion-TS能够捕捉到时间序列的语义含义，而Transformer则负责从带有噪声的模型输入中深入挖掘详细的序列信息。与现有的方法不同，作者训练模型在每个扩散

最低0.47元/天 解锁文章
扩散模型Diffusion Model原理与代码实例讲解
AI天才研究院
07-22 1087
扩散模型Diffusion Model原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
改进扩散模型diffusion
whaosoft143ai的博客
01-10 1854
本文强调这种逼近方法的不足，并提出了一种新的引导方法：扩散潜空间的直接优化（Direct Optimization of Diffusion Latents， DOODL），通过优化扩散潜空间相对于预训练分类器在真实生成像素上的梯度，使用可逆扩散过程实现了高效的内存反向传播，实现即插即过的引导。这种方法有两个缺点：（i）监督数据集通常与大规模抓取的文本-图像数据集相比较小，影响生成图像的质量和多样性，或者（ii）输入是一个硬编码标签，而不是自由形式的文本，限制了对生成图像的控制。whaosoft aiot
2025时间序列发高区必备：扩散模型+时间序列！
最新发布
2401_82426425的博客
01-20 1368
一方面，其是近年新兴的方向，还不算卷。且Sora等模型发布后，扩散模型技术进步飞快，给我们论文创新提供了诸多机会。比如近期谢赛宁团队便发布新作，开创扩散模型新范式。另一方面，扩散模型在提升时序模型性能方面，不可替代！比如模型Diffusion-TS便在90％的数据缺失率时，实现了预测误差直降84.9％的炸裂效果！这是因为时序数据通常具有高度的连续性和动态性，传统方法往往难以捕捉其内在的复杂规律。而扩散模型通过模拟数据的随机扩散过程，能更好地捕捉数据的动态变化，从而提供更准确的预测。
扩散模型+时间序列结合创新方案整理
Aimoxin111的博客
12-09 1809
扩散模型和时间序列的结合是一个新兴且活跃的研究领域，主要应用于时间序列的预测、插补和生成。扩散模型在生成式人工智能领域展示了先进的成果，特别是在时间序列预测中。这些模型能够生成新的、原始的数据样本，反映指定数据集的统计特征。扩散模型通过模拟从数据分布到噪声分布的逐步过程，然后通过逆向过程从噪声中恢复出数据，从而实现预测。例如，TimeGrad是一种基于扩散模型的时间序列预测方法，它通过在每个时间步的去噪模块中额外输入一个hidden state来指导生成序列的过程。
扩散模型+时间序列！这个创新思路必将爆发
2401_88556812的博客
12-24 1728
性能提升：在多个基准数据集和预测场景上的实验表明，观察自引导与任务特定的条件基线具有竞争力，CRPS值平均降低了15%。无条件训练的扩散模型TSDiff：提出了一种无条件训练的扩散模型TSDiff，用于时间序列。光栅掩蔽策略：通过光栅掩蔽策略，增强了正常和异常数据之间的决策边界，提高了异常检测的准确性。粗粒度数据的有效利用：通过利用不同粒度级别的粗粒度数据实例，提高了模型的预测性能。无条件扩散模型的应用：首次将无条件扩散模型应用于时间序列预测，无需额外的临床注释。
扩散模型在时间序列预测中的兴起
liangdaojun的博客
06-19 2981
扩散模型用于时序生成
MULTI-RESOLUTION DIFFUSION MODELS FOR TIME SERIES FORECASTING
weixin_45731480的博客
05-06 1067
扩散模型已经成功地应用于许多计算机视觉应用，如文本引导图像生成和图像到图像的翻译。近年来，人们尝试对时间序列数据的扩散模型进行扩展。但是，这些扩展非常简单，没有利用时间序列数据的独特属性。由于不同的模式通常在时间序列的多个尺度上表现出来，本文利用这种多分辨率时间结构，提出了多分辨率扩散模型(mr-Diff)。通过季节趋势分解，从时间序列中依次提取由细到粗的趋势进行正向扩散。然后，去噪过程以易-难非自回归的方式进行。首先生成最粗糙的趋势。使用预测的粗趋势作为条件变量，逐渐添加更精细的细节。
Diffusion Models for Time Series Applications: A Survey
qq_43800752的博客
08-24 3612
扩散模型是一类基于深度学习的生成模型，在近年来的机器学习社区中崭露头角。在诸如图像合成、视频生成、自然语言处理以及时间序列预测等各种实际应用中，扩散模型表现出卓越的性能，展示了其在许多现有生成技术上的优势。给定目标分布qxq(x)qx中的一些观测数据xxx，生成模型的目标是学习一个生成过程，从qxq(x)qx中产生新样本。为了学习这样的生成过程，大多数扩散模型开始通过注入高斯噪声逐步扰动观测数据，然后应用一个可学习的转换核心进行逆过程以恢复数据。
扩散模型(diffusion model) （DDPM）处理表格数据的项目案例
05-22
扩散模型（Diffusion Model，简称DDPM）是一种新兴的生成模型，主要在图像生成领域取得了显著成果。然而，它的应用并不仅限于此，处理表格数据也是其潜在的应用方向。本项目案例将展示如何利用扩散模型对表格数据...
【AI大模型】告别自回归，基于扩散模型的时间序列基础模型
2301_81940605的博客
12-30 830
今天给大家介绍一篇时间序列基础模型工作，相比之前的时间序列基础模型，本文的核心区别是使用扩散模型的架构构建时间序列基础模型，取得了超越其他时间序列基础模型的效果。
A Survey on Diffusion Models for Time Series and Spatio-Temporal Data（时空序列数据扩散模型综述）
qq_46094659的博客
05-09 1754
时间数据，特别是是时空序列数据，是广泛的现实应用的重要数据结构[76]。时间序列被定义为数据点的顺序排列，按时间顺序分类。这些序列可以是单变量（涉及随时间变化的单个变量），也可以是多变量（包含多个变量）。例如，城市的每日空气质量测量构成一个单变量时间序列，而结合每日温度和湿度读数生成一个多变量序列。在实际应用中，时空数据是指观测值的集合，其中每个数据点由其在空间和时间中的位置定义，封装了各种数据结构，例如图形、轨迹甚至视频，如[76]中所述。
扩散模型Diffusion Models
专业主义
11-03 691
扩散模型（diffusion models）是深度生成模型中新的SOTA。扩散模型在图片生成任务中超越了原SOTA：GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。此外，扩散模型与其他研究领域有着密切的联系，如稳健学习、表示学习、强化学习。然而，原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本；它的最大似然估计无法和基于似然的模型相比；它泛化到各种数据类型的能力较差。
近期大火的扩散模型与时间序列/时空数据的交叉能够碰撞出怎样的火花？
AITIME_HY的博客
05-21 917
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！扩散模型在时间序列和时空数据中的理论、进展、应用与展望作者简介杨毅远，牛津大学计算机系博士生，牛津克拉伦登学者，师从Andrew Markham教授和Niki Trigoni院士，研究方向数据挖掘、时间序列、生成模型、信号处理等。概述 Vision-Language Foundation Models as Effective Robot ...
扩散模型实战（三）：扩散模型的应用
wshzd的博客
08-08 2295
同样，文本生成3D扩散模型能够将输入的文本转换为相应的3D物体。而在加入扩散的方法之后，就可以获取更精准的分割和检测结果了，例如Meta AI的Se 制扩散模型可以生成分割Mask图（如图3-1所示），检测扩散模型DiffusionDet同样可以端到端地从随权经光根逐步生成检测框（如图3-2所示）。只要将自然语言类的句子分调并转换为词向量之后，就可以通过扩散的方法来学习自然语言的语句生成，进而完成自然语言领域一些更复杂的任务，如语言翻译、问答对话、搜索补全、情感分析、文章续写等。
扩散模型（Diffusion Model）最新综述！
热门推荐
阿木寺的博客
09-14 3万+
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本综述来自西湖大学李子青实验室、香港中文大学Pheng-Ann Heng和浙江大学陈广勇团队，对现有的扩散生成模型进行了全面的回顾。本文首先提出了diffusion model改进算法的细化分类与深度解析，同时对diffusion model的应用进行了系统的回顾，最后率先汇总领域内benchmarks。这也促进了后续工作《Dif...
ICLR 2024 | FTS-Diffusion: 用于合成具有不规则和尺度不变模式的金融时间序列的生成框架
AI生成式技术曾小健
04-20 1449
SISC算法首先通过一个初始化过程来准备候选的聚类中心，然后使用DTW距离来比较候选长度的子序列与聚类中心的距离，从而找到最优的分段。实验结果证实了FTS-Diffusion在合成与观测数据相似的金融时间序列方面的有效性，并为下游任务提供了有用的数据。为了捕捉这些状态的时序动态，论文引入了一个模式演变网络，该网络学习给定当前状态的情况下下一个模式的概率以及相应的持续时间和幅度的缩放因子。编码器将可变长度的序列拉伸成固定长度的表示，而解码器则从固定长度的表示重构出可变长度的序列。，用于模拟金融时间序列中的。
ICML 2024 | 清华提出时序大模型！通用时序分析的生成式Transformer
阿木寺的博客
07-21 5716
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：新智元 | 编辑：LRST 好困【导读】大模型在语言、图像领域取得了巨大成功，时...
Diffusion原理及代码实现
weixin_63569547的博客
10-28 467
我们采用手写数字MNIST数据集来验证，将原始维度为[batch,1,28,28]，将其展平为[batch,784]。重建图像是原始图形经过添加噪声（前向过程），然后消除噪声（反向过程）得到的，可以看到训练后的模型效果不错。接着我们用自己的图片来测试一下生成的模型的效果，代码如下，由于一轮训练时间太长，我们只训练10轮结果，
TRANSFORMER-MODULATED DIFFUSION MODELS FOR PROBABILISTIC MULTIVARIATE TIME SERIES FORECASTING
weixin_45731480的博客
05-03 705
变压器在多变量时间序列(MTS)预测中得到了广泛的应用，并提供了令人印象深刻的性能。尽管如此，这些现有的基于变压器的方法往往忽略了一个重要方面:将不确定性纳入预测序列，这在决策中具有重要价值。在本文中，我们引入了变压器调制扩散模型(TMDM)，将条件扩散生成过程与变压器结合到一个统一的框架中，以实现对MTS的精确分布预测。TMDM利用变压器的力量从历史时间序列数据中提取重要见解。然后将该信息用作先验知识，在扩散模型的正向和反向过程中捕获协变量依赖性。
扩散Transformer模型
05-29
扩散Transformer模型是一种用于生成式任务的神经网络模型，其主要思想是通过多次迭代来实现序列扩散和信息交换，从而生成高质量的文本。该模型最初是由OpenAI提出的，并已在多个自然语言处理任务中取得了良好的性能。 扩散Transformer模型的核心思想是在每次迭代中，将当前时刻的隐状态向周围时刻进行扩散，并通过自注意力机制来计算每个位置的注意力权重。在扩散的过程中，模型会通过多头注意力机制对输入序列进行编码，并利用位置编码对时序信息进行建模。 在扩散的过程中，模型还会引入噪声并进行重构，以增加模型的鲁棒性。同时，该模型还利用了对抗性训练技术来提高生成文本的质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值