【扩散模型+轨迹预测】之一:初步调研

1. 基础知识

Stable diffusion扩散模型相关

Diffusion相关二
Diffusers是hugging face发起的用于专门用来收集扩散模型的模型库,就是包含了很多开源的扩散模型。

DiT - 基于Transformer架构的扩散模型

2. 轨迹预测相关

2.1 Leapfrog Diffusion Model

【CSDN链接】
【github链接】
【gitee链接】
【论文链接】
在这里插入图片描述

2.2 MID

【github项目链接】MID
we present a new framework to formulate the trajectory prediction task as a reverse process of motion indeterminacy diffusion (MID), in which we progressively discard indeterminacy from all the walkable areas until reaching the desired trajectory.
请添加图片描述

2.3 中科院

A multi-modal vehicle trajectory prediction framework via conditional diffusion model: A coarse-to-fine approach
在这里插入图片描述

2.4 DICE

【公众号文章】DICE:使用评分进行轨迹预测的多样化扩散模型
提出了一种利用扩散模型以计算高效的方式预测未来轨迹的新型框架,论文链接
在这里插入图片描述

2.5 MotionDiffuser

【论文链接】MotionDiffuser: Controllable Multi-Agent Motion Prediction using Diffusion
MotionDiffuser is a learned representation for the distribution of multi-agent trajectories based on diffusion models.
请添加图片描述

2.6 DiffTraj

【论文链接】DiffTraj: Generating GPS Trajectory with Diffusion Probabilistic Model
在这里插入图片描述

3. 练手时可参考

Diffusers代码级讲解(绪论)—— Diffusers快速上手
【初见Diffuser】利用PytorchLightning和HuggingFace训练你的第一个扩散模型

4. 扩展:扩散模型+RL

Diffusion Model + RL 系列技术科普博客(1):Diffuser
Diffusion Model + RL 系列技术科普博客(2):Decision Diffuser

Diffuser:Planning with Diffusion for Flexible Behavior Synthesis介绍
【论文翻译-RL×Diffusion】Planning with Diffusion for Flexible Behavior Synthesis
Sergey Levine 组的大作,中了 ICML 2022 年的 long talk。究竟是大佬整活,还是将扩散模型用于强化学习的开山之作呢?

  • 19
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
扩散模型(Diffusion Model)是一种经典的数学模型,用于描述在空间中某个特定情景下信息、物质或能量的传播和扩散过程。在实现风格转换的问题中,扩散模型可以被运用来模拟风格间的传播和融合。 风格转换是指将一张图像的风格转变为另一种风格,比如将一幅油画风格的图像转换为卡通风格。利用扩散模型,可以将源图像的风格信息沿着空间传播和扩散,逐渐融合到目标风格上。 首先,我们将源图像和目标风格划分为小块,每个小块包含像素的风格特征。然后,在源图像中选取一个小块为种子,将其风格特征与目标风格相融合。接下来,将该融合后的小块的风格特征以一定速率传播到周围的邻近小块上,并继续扩散。 扩散的速度可以根据邻近小块的距离和相似度进行调整,距离越远和相似度越低,传播速度越慢。这样,源图像的风格特征就会逐渐传播到整个图像上,并与目标风格融合,实现风格转换。 在实际应用中,我们可以通过调整扩散速度、传播范围或融合程度来控制风格转换的效果。通过多次迭代扩散过程,可以逐渐提高风格的融合度,使得最终的转换结果更加自然和符合目标风格。 综上所述,扩散模型可以有效地实现风格转换,通过模拟信息的传播和扩散过程,将源图像的风格特征逐渐融合到目标风格上。这种方法在图像处理和计算机视觉领域有着广泛的应用前景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值