直接干到未来！极佳科技DriveDreamer：世界首个自定义驾驶场景流生成，提升50%！...

最新推荐文章于 2025-01-18 00:27:36 发布
最新推荐文章于 2025-01-18 00:27:36 发布
阅读量608 收藏
点赞数
文章标签： 科技
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247619157&idx=1&sn=c1eac2ae38f0467d8ecaff486c744030&chksm=cf7a39b05fb2077c8fe5af23a366b9ffbf7b7a60b7154f25ff620d622d8199a6db02ab46e497&scene=126&sessionid=0
版权

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了中科院博士王啸峰和极佳科技联合创始人&首席科学家朱政！极佳科技提出的驾驶世界模型DriveDreamer v1&v2，能在多种条件下可控生成高质量的驾驶场景视频，并且可以利用生成的数据提升下游感知任务的训练！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

更多行业咨询与技术分享，欢迎加入『自动驾驶之心知识星球』，相关将在星球内公布！

DriveDreamer v1 & v2验证了生成式模型提取的视觉特征对端到端任务的帮助。我们希望DriveDreamer可以抛砖引玉，启发更多researcher在自动驾驶世界模型上进行研究和应用。相关开源工作可关注：

https://drivedreamer.github.io/

https://drivedreamer2.github.io/

c6cbe43cc52d19193bfc13a17ef3aa1a.png

极佳科技×自动驾驶之心交流群成立啦！

c1f303079abd7c53a95d21322fc0c833.jpeg

哔哩哔哩关注自动驾驶之心，预约直播

4a931ca9d2f2b1079b4f4cab27ae336b.png

自动驾驶之心B站

【自动驾驶之心】全平台矩阵

b1a3b6abb5bfbca192a231c90d795e47.png

NTA-IoU指标提升超42%，北京大学提出首个使用世界模型提升自动驾驶场景重建质量DriveDreamer4D
自动驾驶实战
10-20 989
闭环仿真是推进端到端自动驾驶系统的重要环节。当代传感器仿真方法，如NeRF和3DGS，主要依赖与训练数据分布高度一致的条件，这通常局限于前向驾驶场景。因此，这些方法在渲染复杂的机动动作（如变道、加速、减速）时存在局限性。近年来，自动驾驶世界模型在生成多样化驾驶视频方面展现了潜力，但这些方法仍然局限于二维视频生成，无法捕捉动态驾驶环境所需的时空一致性。在本文中，我们提出了DriveDreamer4D，通过利用世界模型先验知识提升4D驾驶场景表示。
ChatSim:使用大语言模型代理LLM-Agents实现自动驾驶场景仿真，获取训练数据
自动驾驶实战
08-07 1561
自动驾驶中的场景仿真因其在生成定制数据方面的巨大潜力而备受关注。然而，现有的可编辑场景仿真方法在用户交互效率、多摄像头逼真渲染和外部数字资产集成方面存在局限性。为了应对这些挑战，本文介绍了ChatSim，这是第一个通过自然语言命令和外部数字资产实现可编辑逼真3D驾驶场景仿真的系统。为了实现高命令灵活性的编辑，ChatSim利用了一个大语言模型（LLM）代理协作框架。为了生成逼真的结果，ChatSim采用了一种新颖的多摄像头神经辐射场方法。
LLM和自动驾驶强强联合 | DriveDreamer-2：自动驾驶定制视频生成世界模型!
AIGCer的博客
03-14 1341
近年来，自动驾驶的世界模型引起了行业和学术界的广泛关注。由于其出色的预测能力，自动驾驶世界模型有助于生成各种各样的驾驶视频，甚至包括长尾场景。生成的驾驶视频可以用于增强各种驾驶感知方法的训练，对自动驾驶的实际应用非常有益。自动驾驶中的世界建模面临着巨大的挑战，这是由于其固有的复杂性和大量的采样空间所致。早期的方法通过将世界建模纳入鸟瞰图(BEV)语义分割空间中来缓解这些问题。然而，这些方法主要是在模拟自动驾驶环境中探索世界模型。在自动驾驶技术的最新发展中，世界模型的发展取得了重大进展。
笔记DriveDreamerv1
qq_40257134的博客
01-10 760
DriveDreamer通过结合扩散模型和两阶段训练流程，成功地从真实世界驾驶场景中构建了世界模型。创新之处在于首次将扩散模型应用于真实世界的自动驾驶任务中，提高了驾驶视频生成和驾驶策略预测的质量和可控性。应用前景：为自动驾驶系统的训练和优化提供了新的方法和思路，特别是在处理复杂和多样化的驾驶场景时具有优势。
DriveDreamer4D: 世界模型是 4D 驾驶场景表征的有效数据机器
最新发布
yorkhunter的博客
01-18 1191
24年11月来自极佳科技、中科院自动化所、理想汽车、北大和慕尼黑工大的论文“DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation”。 闭环模拟对于推进端到端自动驾驶系统至关重要。当代传感器模拟方法，例如 NeRF 和 3DGS，主要依赖于与训练数据分布紧密相关的条件，而这些条件主要局限于前向驾驶场景。因此，这些方法在渲染复杂动作（例如变道、加速、减速）时面临局限性。自动驾驶世
笔记DriveDreamer v2
qq_40257134的博客
01-13 855
此外，不同的条件对驾驶视频生成的影响也被探讨，DriveDreamer-2即使在没有任何图像条件的情况下也能生成具有竞争力的结果，并展现出最高的多样性。论文最后讨论了DriveDreamer-2的创新性和优势，它不仅能够生成用户定制的驾驶视频，还能通过生成的视频增强驾驶感知方法的训练。论文首先指出，世界模型在自动驾驶领域的重要性，尤其是在多视角驾驶视频的生成上。，包括车辆的cut in， 行人的横穿等轨迹的生成，还有保存轨迹等通用工具函数，然后通过大语言模型分析用户输入的需求，生成由这些组件函数组成的。
直接干到未来！DriveDreamer-2：世界首个自定义驾驶场景流生成，提升50%！
CV_Autobot的博客
03-15 820
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『世界模型』技术交流群论文作者|Guosheng Zhao编辑 | 自动驾驶之心写在前面&笔者的个人理解世界车型在自动驾驶方面表现出了优势，尤其是在多视图驾驶视频的生成方面。然而，在生成自定义驾驶视频方面仍然存在重大挑战。在本文中，我们提出了DriveDream...
DriveDreamer-2: 多样驾驶视频生成中LLM增强的世界模型
yorkhunter的博客
05-16 960
24年3月中科院自动化所和创业公司极佳的论文“DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation”。
自动驾驶算法系列课程之《自动驾驶世界模型》DriveDreamer++， Drive world model.zip
04-06
《自动驾驶世界模型》DriveDreamer++是自动驾驶算法研究领域的一项重要课题，旨在模拟真实世界的复杂交通环境，为自动驾驶车辆提供决策支持。这个课程涵盖了自动驾驶技术的核心概念，包括环境感知、高精度地图、路径...
自动驾驶世界模型课程：DriveDreamer++深度学习源码
资源摘要信息:"自动驾驶算法系列课程之《自动驾驶世界模型》DriveDreamer++，Drive world model.zip" 自动驾驶技术是当前汽车工业和人工智能领域研究的热点之一，它依托于先进的算法模型，通过计算机视觉、传感器...
当自动驾驶遇上扩散模型（Panacea）: 生成自动驾驶BEV数据集
自动驾驶实战
07-30 1379
在自动驾驶领域，对高质量的标注训练数据的需求日益增加。在本文中，我们提出了Panacea，这是一种创新的方法，用于生成驾驶场景中的全景和可控视频，能够生成无限数量的多样化、标注的样本，对于自动驾驶的进步至关重要。Panacea解决了两个关键问题：“一致性”和“可控性”。一致性确保了时间和跨视角的一致性，而可控性确保了生成内容与相应标注的对齐。我们的方法结合了新颖的4D注意力机制和两阶段生成管道来保持一致性，并通过ControlNet框架对鸟瞰图(BEV)布局进行细致控制。
DriveDreamer4D：首个利用视频生成改善驾驶重建的世界模型方法
CV_Autobot的博客
10-22 1260
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享极佳&中科院最新的工作—DriveDreamer4D！基于生成的世界模型方案。如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『占用网络』技术交流群论文作者...
自动驾驶合集14
whaosoft143ai的博客
03-01 672
随着基于BEV transformer 任务的兴起，随之带来的是对数据的依赖变的越来越重，基于BEV 任务的标注也变得越来越重要。目前来看无论是2D-3D的联合障碍物标注，还是基于重建点云的clip 的车道线或者Occpuancy 任务标注都还是太贵了(和2D标注任务相比，贵了很多)。当然业界里面也有很多基于大模型等的半自动化，或者自动化标注的研究。还有一方面是自动驾驶的数据采集，周期太过于漫长，还涉及到数据合规能一系列问题。比如，你想采集一个平板车跨相机的场景 ​ whaosoftaiothttp:/
端到端自动驾驶主要玩家
自动驾驶实战
08-12 1305
2024年5月20日，小鹏汽车举办AIDay发布会，董事长、CEO何小鹏宣布端到端大模型上车。小鹏的端到端大模型有三个组成部分：神经网络XNet+控大模型XPlanner+大语言模型XBrain。小鹏汽车在发布会上表示，端到端大模型上车后，18个月内小鹏智能驾驶能力将提高30倍，每2天内部将做次智驾模型的送代。2024年4月24日，华为智能汽车解决方案发布会上，华为发布了以智能驾驶为核心的全新智能汽车解决方案品牌一一乾崑，并发布了并发布了ADS3.0。乾崑ADS3.0的技术架构，感知部分采用GOD（Gene
DriveDreamer-2
whaosoft143ai的博客
03-12 469
在本文中，我们提出了DriveDreamer-2，它建立在DriveDreamer的框架上，并结合了一个大语言模型（LLM）来生成用户定义的驾驶视频。重要的是，实验结果展示了生成的视频在增强驾驶感知方法训练方面的效用。具体而言，在没有图像条件的情况下，DriveDreamer-2的FID为25.0，FVD为105.1，显示出比DriveDreamer的显著改进。在DriveDreamer架构的基础上，提出了UniMVM框架，以统一视图内和视图间的空间一致性，从而增强生成的驾驶视频的整体时间和空间一致性。
Drive-WM
whaosoft143ai的博客
12-03 1084
而最近，中科院自动化所的研究者们也提出了一个新的自动驾驶世界模型 ——Drive-WM，首次实现了多视图预测的世界模型，与当下主流的端到端自动驾驶规划器无缝结合。想象一下，你正在开车，而你的车载系统正在根据你的驾驶习惯和路况预测未来的发展，并生成相应的视觉反馈来指导轨迹路线的选择。这种预见未来的能力和规划器相结合，将极大地提高自动驾驶的安全性！Drive-WM 模型通过多视图世界模型，能够想象不同规划路线的未来情景，并根据视觉预测获取相应的奖惩反馈，从而优化当前的路线选择，为自动驾驶系统的安全提供了保障。
DriveDreamer: 走向真实世界驱动的自动驾驶世界模型
yorkhunter的博客
07-17 992
23年9月来自一家创业公司GigaAI和清华大学的论文“DriveDreamer: Towards Real-world-driven World Models for Autonomous Driving”，。主要的特点是扩散模型的引入，让世界模型中的环境表征更强。
中国版Sora震撼登场，原生16秒直出超清视频！国产黑马火了，世界模型签约多个大客户
AI_SHELL的博客
06-11 977
2024年5月，极佳科技联合国内外多家单位推出了全球首篇通用世界模型综述，该综述通过260余篇文献，对世界模型在视频生成、自动驾驶、智能体、通用机器人等领域的研究和应用进行了详尽的分析和讨论，该综述还审视了当前世界模型的挑战和局限性，并展望了它们未来的发展方向。「视界一粟 YiSu」基于团队自研的视频生成大模型技术，并没有止步于DiT，而是融合LLM和扩散模型的自研架构，结合各种路线的优势，在多模态融合、训练效率、推理效率、模型效果等方面达到极致的优化，打造视频生成的最佳方案。
从DriveDreamer v1&v2到4D，聊聊世界模型在驾驶场景重建中为何越来越重要？
CV_Autobot的博客
10-29 471
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享极佳科技世界模型的系列工作！从DriveDreamer v1&v2到4D。如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『世界模型』技术交流群编辑 | 自...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值