51-52 CVPR 2024 | Generalized Predictive Model for Autonomous Driving，自动驾驶通用预测模型

已于 2024-06-04 09:29:35 修改
阅读量1.2k 收藏 23
点赞数 17
分类专栏： aiXpilot 智驾大模型1 文章标签： 自动驾驶 人工智能 机器学习 stable diffusion AIGC 计算机视觉
于 2024-05-18 11:29:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45035094/article/details/138976977
版权
研究提出了一种名为GenAD的自动驾驶通用视频预测模型，该模型基于大规模数据集OpenDV-2K，包含2059小时的驾驶视频，旨在提升模型在不同环境下的泛化能力。GenAD采用了时间推理块，能进行因果推理和处理视角变化，通过两阶段学习，从图像生成到视频预测，展示了在零样本推广、语言和动作条件预测等方面的优势。此外，还介绍了数据集的多样化收集和标注方法，以增强模型的可控性和样本质量。
摘要由CSDN通过智能技术生成

24年3月，上海AI Lab联合香港科技大学、香港大学等发布Generalized Predictive Model for Autonomous Driving。作者提出了通用的大规模自动驾驶视频预测模型GenAD，在实现过程中，进一步提出了迄今为止最大的自动驾驶场景训练数据集OpenDV-2K。

OpenDV-2K数据集具有开放领域的多样性：地理位置，地形，天气条件，安全关键场景，传感器设置，交通要素等。

  • 从YouTuber获取公开驾驶视频数据，然后使用VLM（如BLIP-2）模型的语言上下文来标注、描述每个帧。
  • 手工过滤带某些关键字（如Words, Watermark, Dark, Blurry）的黑帧或扭曲的过渡帧。
  • 对来自YouTuber的视频构建了两种类型的文本，Ego-vehicle的驾驶命令Command和帧上下文Context，分别帮助模型理解自车动作和周边其他智能体行为。对于命令Co
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深圳季连AIgraphX
关注
专栏目录
订阅专栏
CVPR2024自动驾驶轨迹预测方向的论文整理
u010062386的专栏
07-05 2810
提出针对在线地图不确定性带给轨迹预测的影响对应的解决方案。在轨迹预测中，利用在线地图不确定性是一个重要的课题。随着位置数据的增加和地图更新的频率加快，准确地处理这些不确定性变得至关重要。通过这些步骤，我们可以有效地利用在线地图的不确定性来提高轨迹预测的准确性。
论文理解 A Survey on Trajectory-Prediction Methods for Autonomous Driving
M3197783956的博客
03-03 1899
轨迹预测综述论文理解
端到端大一统前夕？GenAD：LLM和轨迹规划全搞定（上海AI Lab力作）
CV_Autobot的博客
03-19 1087
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群论文作者|Jiazhi Yang今天汽车人和大家分享一篇自动驾驶领域中第一个大规模视频预测模型。为了消除高成本数据收集的限制，并增强模型的泛化能力，从网络获取了大量数据，并将其与多样化和高质量的文本描述配对。由此产生的数据集累积了超过2000...
CVPR&NeurIPS2024开源 | 迈向通用可泛化的自动驾驶世界模型
最新发布
3D视觉工坊
10-24 101
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达本次分享我们邀请到了香港科技大学在读博士高深远为大家着重介绍他的GenAD和Vista系列工作。如果您有相关工作需要分享，欢迎文末联系我们。Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability论文：htt...
CVPR2019| CVPR论文接收列表！
中科院AI算法工程师的博客
03-19 1万+
欢迎关注微信公众号【计算机视觉联盟】获取更多前沿AI、CV资讯 统计CVPR2019论文（附链接、和代码），更新于8月11日（arXiv最新日期），持续更新中！ 1294篇的CVPR2019论文PDF下载： 关注公众号【计算机视觉联盟】回复关键词【CVPR2019】即可获取下载链接！ 【1】Learning Regularity in Skeleton Trajectories ...
自动驾驶最全基础知识、课程、论文、数据集、开源软件等资源整理分享
lqfarmer的博客
12-13 4503
自动驾驶汽车（Autonomous vehicles）又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。在20世纪已有数十年的历史，21世纪初呈现出接近实用化的趋势。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。 资源整理自网络，源地址：https://github.com/manfreddiaz/awesome-autonomous-vehicles ...
CVPR2019 | 论文分类汇总
热门推荐
happyday_d的博客
09-16 6万+
CVPR2019 | 论文分类汇总（190611 更新） 原文地址：http://bbs.cvmart.net/topics/302/cvpr2019paper 作为计算机视觉领域三大顶会之一，CVPR2019（2019.6.16-6.19在美国洛杉矶举办）被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦，相关报道：1300篇！CVPR2019接收结果公布，你中了吗？ 开设...
CVPR2019 | 论文分类汇总（190611 更新）
极市平台的技术博客
08-27 3万+
原文链接：http://bbs.cvmart.net/topics/302/cvpr2019paper 本文论文链接较多，前往原文查看可以直接跳转 作为计算机视觉领域三大顶会之一，CVPR2019（2019.6.16-6.19在美国洛杉矶举办）被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦，相关报道：1300篇！CVPR2019接收结果公布，你中了吗？ cvpr2019...
CVPR 2019 论文汇总（按方向进行论文划分）
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8878
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3302
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 3144
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 2423
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
51-30 World Model | 自动驾驶的世界模型：综述
AIgraphX
03-14 2260
世界模型已经成为一种变革方法，使自动驾驶系统能够综合和解释大量传感器数据，从而预测潜在的未来情景并弥补信息缺口。本文涵盖了世界模型理论基础、实际应用以及以未来展望。
51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准
AIgraphX
06-11 2251
本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，同时引入端到端时空网络OCFNet，预测当前和未来4D占用。
51-31 CVPR’24 | VastGaussian，3D高斯大型场景重建
AIgraphX
03-16 1952
VastGaussian模型，实现了基于 3D Gaussians Spltting进行大型场景高保真重建和实时渲染。
51-15 视频理解串讲—TimeSformer (Is Space-Time Attention All You Need for Video Understanding) 论文精读
AIgraphX
01-24 1855
Facebook AI提出了一种称为TimeSformer视频理解的新架构，这个架构完全基于transformer，不使用卷积层。它通过分别对视频的时间和空间维度应用自注意力机制，能有效地捕捉动作的时空特征。
51 -25 OccNet：Scene as Occupancy 场景作为占用
AIgraphX
02-06 1847
本文介绍了一种将物体表示为 3D Occupancy的新方法，以描述三维场景，并用于自动驾驶中检测、语义分割和规划任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深圳季连AIgraphX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值