【ECCV2024】优化扩散模型以进行联合轨迹预测和可控生成

于 2024-08-09 17:04:49 发布
阅读量242 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247642825&idx=3&sn=9f72c03e45cf3a7f6c9f5549437f0c59&chksm=e8dd1ca9e58670ff9b2daa77430fef96c3e32199598659614b0f20538f39a999de17af8ef774&scene=126&sessionid=0
版权

d2e3232f2a0a4ef60718f1d4f665eccf.png

来源：专知
本文为论文介绍，建议阅读5分钟
为了应对这些挑战，我们引入了最优高斯扩散（OGD）和估计清洁流形（ECM）引导。

19fa047ac4af6b04311702906bb35113.png

扩散模型在自动驾驶的联合轨迹预测和可控生成方面展现出了潜力，但它们面临着推理步骤效率低下和计算需求高的挑战。为了应对这些挑战，我们引入了最优高斯扩散（OGD）和估计清洁流形（ECM）引导。OGD优化了小扩散时间T的先验分布，并从此开始逆向扩散过程。ECM直接向估计的清洁流形注入引导梯度，消除了整个网络中广泛的梯度反向传播。我们的方法简化了生成过程，使实际应用能够减少计算开销。在大规模的Argoverse 2数据集上进行的实验验证表明，我们的方法性能卓越，为自动驾驶的计算效率高、质量高的联合轨迹预测和可控生成提供了一个可行的解决方案。我们的项目网页位于

https://yixiaowang7.github.io/OptTrajDiff_Page/

关键词：扩散模型、自动驾驶、轨迹预测、可控轨迹生成。

a1a9bb17d3a95e23d94d2943732e48df.png

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

83ca81512de59afa42d121054e3dcc5a.png

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

数据派THU
关注
ECCV‘24开源 | 真实感拉满！DiverseDream：生成超高质量的3D模型！
计算机视觉工坊
08-06 141
文本到3D合成最近作为一种新的方法出现，它采用预训练的文本到图像模型作为指导的视觉先验来采样3D模型。现有的文本到3D方法中存在一个有趣但研究不足的问题是，通过采样优化过程获得的3D模型往往会出现模式崩溃，从而导致结果多样性较差。在本文中，我们进行了分析，并确定了这种有限多样性的潜在原因，这促使我们设计了一种新方法，该方法考虑了从同一文本提示中联合生成不同的3D模型。我们建议使用参考图像的文本反演来增强文本提示，以实现联合生成的多样性。我们证明了我们的方法在定性和定量上均能提高文本到3D合成的多样性。
视频外绘技术总结：Be-Your-Outpainter、Follow-Your-Canvas、M3DDM
沉迷单车的追风少年
01-27 1636
视频Inpaint的技术很火，但是OutPaint却热度不高，这篇博客总结比较经典的几篇视频Outpaint技术。其实Outpaint在runway等工具上很火，可是学术界对此关注比较少，博主从这三年的顶会中找到了最具代表性的三篇论文解读。
【扩散模型+轨迹预测】之二：相关思考
方小汪的博客
02-22 862
【扩散模型+轨迹预测】之二：相关思考
蛙跳扩散模型轨迹预测
Moresweet 猫甜
07-24 1452
采用扩散模型生成轨迹预测的顶会论文，研读并分享方法，借鉴AI结合到轨迹预测方面的最新研究，新兴的扩散模型在众多生成任务中展现了其巨大的表示能力，显示出随机轨迹预测的潜力。
【扩散模型+轨迹预测】之一：初步调研
方小汪的博客
02-21 3247
扩散模型+轨迹预测
都在搞端到端了，传统轨迹预测该何去何从？
CV_Autobot的博客
07-01 705
都在搞端到端了，传统轨迹预测还有搞头么？2024年各家新势力都在搞端到端了，模型直出自车规划结果。轨迹预测作为模块化方法的中间组件，未来会不会被干掉？或者说轨迹预测有没有核心竞争力？我们先从轨迹预测的定义出发，任务定义是给定障碍物的历史运动状态，结合道路的拓扑约束对障碍物的未来轨迹进行预测。上承感知输出，下接决策规划，需要对上下游有着深刻的理解。其且其约束的构建本质上来说，是运动学+道路拓扑。基于...
决策预测联合规划
ZHANG8023ZHEN的博客
05-08 194
输入： 主车route是一类特殊地图元素 输入的encoder就可以仿照multipathpp中的_polyline_encoder主车的planning轨迹是一类特殊的障碍物轨迹 输入的encoder就是target_encoder输出： 前决策标签 （Decoder中在增加一维输出的内容） 主车轨迹loss: 加入与前决策标签的loss 一个障碍物应该是一个标签，可以使用交叉熵 如果是主车： 预测轨迹与planning轨迹尽可能接近 如果是障碍车： 预测轨迹与planning轨迹尽量少的产生交集加入主车
聊聊几种轨迹预测结果的表示形式
CV_Autobot的博客
11-27 646
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【轨迹预测】技术交流群本文是我在学习Thomas老师的《轨迹预测理论与实战课程》时输出的个人学习笔记，欢迎大家交流讨论~说明： 每小节内符号使用是一致的；预测目标、目标、活动对象以及对象会混用，都是指场景中的交通参与者，例如车辆、行人等，英文文献中多使用 agent 表示。轨迹预测结果的表示方法...
工业异常检测最新文章整理
weixin_37501173的博客
11-11 1544
尽管由于大量的训练数据集，他们在识别常见对象方面有很强的能力，但他们缺乏特定的领域知识，对对象内的局部细节理解较弱，这阻碍了他们在工业异常检测（IAD）任务中的有效性。在MVTec AD数据集上。通过设计一种基于clip的异常检测器，以滑动窗口的方式对风扇图像的每个部分进行快速引导分类，解决了这种低效的训练要求的问题。视觉异常检测的核心思想是从正常图像中学习正态性，但以往的工作都是针对特定的任务开发的，导致各种任务之间的碎片化:缺陷检测、语义异常检测、多类异常检测和异常聚类。中科院 2023 arxiv。
深度补全 论文及代码汇总，持续更新中~~
不忘初心~
03-14 2722
depth completion
【深度】最新万字综述自动驾驶，深度解构核心技术！
九三智能控
05-03 3039
关注：决策智能与机器学习，深耕AI脱水干货作者|于凡来源 |知乎专栏-无人驾驶编辑 | 九三山人编者按：本文主要讨论ADS（Autonomous Driving System）的...
十分钟读懂Diffusion：图解Diffusion扩散模型
CV_Autobot的博客
07-11 1443
作者|绝密伏击 编辑| 极市平台原文链接：https://zhuanlan.zhihu.com/p/599887666点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【大模型】技术交流群本文只做学术分享，如有侵权，联系删文导读Diffusion是如何根据文字生成图片的？详解Diffusion的整个生成过程、训练过程等。在之前的文章中，我们曾经介绍...
轨迹预测Leapfrog Diffusion Model for Stochastic Trajectory Prediction
qq_43210957的博客
05-05 2742
为了模拟人类行为的不定性，随机轨迹预测需要对未来轨迹进行复杂的多模式分布建模。新兴的扩散模型在多种生成任务中展示了巨大的表示能力，显示出对随机轨迹预测的潜力。然而，由于确保足够的表示能力需要大量的去噪步骤，因此扩散模型难以实现实时预测。为了解决这个困境，我们提出了 LEapfrog Diffusion 模型 (LED),这是一种基于扩散的新颖轨迹预测模型，能够提供实时、精确和多样化的预测。
CVPR 2023: Leapfrog Diffusion Model for Stochastic Trajectory Prediction
结构化论文学习和写作
02-05 951
通过分析参考文献中的这些标准，可以全面了解不同的方法、它们的权衡以及它们对特定应用的适用性。该标准区分了轨迹预测中使用的不同扩散模型架构。该标准评估预测轨迹的准确性和质量。该标准考虑用于预测的信息类型。该标准评估模型生成预测的速度。该标准指定了研究应用的领域。该标准关注预测轨迹的性质。
一文读懂扩散模型原理、推断加速和可控生成
人工智能学家
01-04 5170
来源：智源社区整理：熊宇轩在刚刚过去的2022年，扩散模型（Diffusion Models）成为了深度生成模型中新的SOTA。近期，中国人民大学助理教授李崇轩和清华大学博士生鲍凡在由智源社区主办的“2022大模型创新论坛·峰会-模型技术分论坛”上分享了题为「扩散概率模型：原理、加速推断与可控生成」的报告，介绍了目前大火的扩散模型的基本原理。重点针对扩散模型领域的两大重点问题——「推断加速」、「可...
前沿系列--简述Diffusion Model 扩散模型（无代码版本）
`or 1 or 不正经の泡泡
12-16 877
OK，今天的话，我们来搞一下这个扩散模型，来对这个玩意进行一个简单的了解，因为这个也是目前还算比较前沿的东西，也挺有用的，当然我这边和RL一样，我喜欢用来做优化，完成任务，单纯用来做生成se图是在是没什么意思（狗头）当然也是没办法，如果连这个都不去了解的话，咱们在AI领域是没法混了，得多少了解一下。那么在开始之前的话，我们还是需要去了解一下这个GAN网络。这个的话，我这边是没有写过专门介绍GAN的文章，这个自己去找一下，原理其实还是很好理解的。PSO算法（优化与探索四*DDPG与GAN）
thymeleaf-2.0.15.jar中文文档.zip
05-04
# 压缩文件中包含： 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；
javassist-3.25.0-GA.jar中文-英文对照文档.zip
05-04
# 压缩文件中包含： 中文-英文对照文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；
“计及源荷双重不确定性的虚拟电厂微网日前随机优化调度模型设计与实现（基于蒙特卡洛与概率距离法处理不确定性变量）”
最新发布
05-04
内容概要：本文详细介绍了利用MATLAB进行虚拟电厂日前随机优化调度的方法。首先，通过蒙特卡洛模拟生成大量光伏出力和负荷的随机场景，考虑到光伏出力和负荷预测的不确定性。接着，采用概率距离削减法将大量场景缩减为少数典型场景，确保计算效率的同时保留重要特征。然后，构建随机优化模型，将燃气轮机、储能、弃光等成本纳入目标函数，并设置严格的功率平衡和设备出力限制作为约束条件。最终，使用CPLEX求解器求解该混合整数规划问题，得到最优调度方案。实验结果显示，相比传统确定性优化，随机优化显著提高了系统的鲁棒性和经济效益。 适合人群：从事电力系统研究、虚拟电厂调度、智能电网优化的研究人员和技术人员。 使用场景及目标：适用于需要处理光伏出力和负荷预测不确定性的虚拟电厂调度场景，旨在提高调度方案的稳定性和经济性，降低运营风险。 其他说明：文中提供了详细的MATLAB代码片段，帮助读者理解和实现具体的算法步骤。此外，还给出了若干实用技巧和注意事项，如场景削减时的概率归一化、储能SOC约束的跨场景耦合等。
扩散模型离线轨迹规划
12-26
### 使用扩散模型实现离线轨迹规划的方法 #### 方法概述 离线轨迹规划是指在一个预先收集的数据集上训练策略或价值函数，在测试阶段仅利用这些预训练好的组件来进行决策。对于基于扩散模型的离线轨迹规划，核心在于构建能够捕捉状态空间分布特性的生成模型。 Diffuser作为一种专门为学习轨迹优化而设计的扩散模型，通过引入噪声逐步破坏给定的状态序列直到其变得随机化，再反过来从纯噪音中重建原始数据的过程来完成这一目标[^1]。这种机制允许模型学会不同时间步之间的复杂关系，并有效地模拟可能的动作路径。 为了适应特定的任务需求，可以采用分类引导采样的方式调整生成过程中的条件约束，从而使得产生的轨迹更贴近期望的行为模式。例如，在机器人操作环境中，可以通过指定末端执行器的目标位置作为额外输入指导整个动作链的设计。 #### 应用案例分析 当面对高维连续控制问题时，如机械臂运动或是自动驾驶汽车导航，传统的基于模型的方法往往难以取得理想效果。相比之下，TAP（Trajectory Autoencoding Planner），它以VQ-VAE为基础框架并融合了变分自编码的思想，则展示了显著的优势。该方案不仅实现了高效的样本获取能力，而且能够在复杂的多模态环境下保持良好的泛化性能[^2]。 此外，随着研究进展，“探索未来智能的边界：基于扩散模型的强化学习综述”一文中提到的相关工作也进一步推动了此类技术的发展。通过对现有资源和技术路线图进行全面梳理，有助于识别当前领域内最具潜力的研究方向以及潜在的应用场景[^3]。 ```python import torch from diffusers import UNet2DModel class DiffusionPlanner: def __init__(self, model_path): self.model = UNet2DModel.from_pretrained(model_path) def plan_trajectory(self, start_state, end_goal, num_steps=100): trajectory = [] current_state = start_state for step in range(num_steps): noise_level = (num_steps - step) / num_steps with torch.no_grad(): predicted_noise = self.model(current_state.unsqueeze(0), timestep=noise_level).sample denoised_state = current_state - predicted_noise.squeeze() if step % 10 == 0 or step == num_steps - 1: trajectory.append(denoised_state.clone()) current_state = denoised_state + ((end_goal - denoised_state) * min(step / num_steps, 0.1)) return trajectory ``` 此代码片段展示了一个简单的基于UNet架构的扩散模型用于离线轨迹规划的例子。这里假设已经有一个经过良好训练的权重文件可供加载。`plan_trajectory` 函数接收起始状态 `start_state` 和结束目标 `end_goal` 参数，返回一系列中间过渡状态组成的列表表示完整的行动路线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值