CVPR'24 | UniPAD：大步迈向通用自动驾驶预训练新范式

最新推荐文章于 2024-10-17 17:26:23 发布
最新推荐文章于 2024-10-17 17:26:23 发布
阅读量86 收藏
点赞数
文章标签： 自动驾驶 人工智能 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247598963&idx=2&sn=8c7eefe261306d3a3b10d93d57f1f548&chksm=cf992ff6f81d974918793f8efa9ef7b8e6daa87ee6d4c15ac450fae87588bfd04a380aee5593&scene=126&sessionid=0
版权

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了浙江大学CAD&CG实验室博士生—杨鸿辉！为大家分享基于可微分体渲染的自监督学习新范式—UniPAD，可无缝集成倒当下主流的2D/3D框架，预训练性能拉满！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

更多行业咨询与技术分享，欢迎加入『自动驾驶之心知识星球』，相关将在星球内公布！

9c1a85af3b42de3ea37e002317305668.jpeg

哔哩哔哩关注自动驾驶之心，预约直播

84cdc3c5bcf018afe6295d775286d82a.png

自动驾驶之心B站

【自动驾驶之心】平台矩阵，欢迎联系我们！

f4bcf27f9f829e5cf9b6aacfc7d7eeb7.jpeg

自动驾驶之心
关注
51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准
AIgraphX
06-11 2199
本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，同时引入端到端时空网络OCFNet，预测当前和未来4D占用。
51-53 CVPR 2024 | DriveWorld：通过自动驾驶世界模型进行 4D 预训练场景理解 （含模型数据流梳理）
AIgraphX
05-21 1344
DriveWorld在UniAD的基础上又有所成长，提升了自动驾驶目标检测、目标追踪、3D占用、运动预测及规划的性能。
51-56 CVPR 2024 | UniPAD：A Universal Pre-training Paradigm for Autonomous Driving 自动驾驶的通用预训练范式
AIgraphX
06-03 891
UniPAD提出了一种自动驾驶通用的自监督预训练范式，巧妙地将NeRF作为统一的3D渲染解码器，使其能够无缝集成到2D和3D框架中。
CVPR'24开源 | 增强一切3D任务！UniPAD：自动驾驶的通用预训练范式
3D视觉工坊
05-09 80
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫...
ICLR 2024 | UniPAD：一种通用的自动驾驶预训练模式
CV_Autobot的博客
03-21 228
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群论文作者|自动驾驶Daily编辑 | 自动驾驶之心写在前面&笔者的个人理解UniPAD研究了一个关键问题：如何有效地利用大量未标记的3D点云数据进行自监督学习，以增强其在3D目标检测和语义分割等下游任务中的应用效率。这个问题之所以重要...
CVPR2022论文速递（2022.4.12）！共24篇！GAN/transformer/超分等
zero的博客
04-12 1005
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：大家好,最近正在优化每周分享的CVPR论文, 目前考虑按照不同类别去分类,方便不同方向的小伙伴挑选自己感兴趣的论文哈欢迎大家留言其他想法, 合适的话会采纳哈!求个三连支持一波哈Update...
CVPR2024|UniPAD：一种自动驾驶的统一的预训练范式
06-21 1180
为了解决这些问题，文章提出了UniPAD，这是一种新颖的自监督学习范式，它通过3D体积可微分渲染技术来隐式编码3D空间，从而实现对连续3D形状结构及其2D投影的复杂外观特征的重 建。值得注意的是，UniPAD在nuScenes验证集上达到了73.2 NDS的3D目标检测和79.4 mIoU的3D语义分割，取得了与先前方法相比的最先进结果。为了克服这些限制，研究者们开始探索3D点云数据的自监督学习方法，这些方法可以利用未标记的数据来学习特征表示，从而提高自动驾驶系统的性能。
CVPR 2020 | ACGPN: 基于图像的虚拟换装新思路
idol24的博客
06-21 4248
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！CVPR 2020之117篇GAN论文分类清单编辑 AI科技评论本文介绍的是CVPR2020入...
CVPR 2022 | GeoTransformer：基于Transformer的点云配准网络
Paper weekly
03-30 8914
©作者|秦政单位|国防科技大学研究方向 |三维视觉本文提出了一种基于 Transformer 的点云配准网络。通过引入点云中的全局结构信息，GeoTransformer 能够显著提高 correspondences 的 inlier ratio，从而实现了 RANSAC-free 的场景点云 registration，代码已开源。Motivation在这篇工作中...
51-51 CVPR 2024 | Panacea：自动驾驶全景可控视频生成
AIgraphX
05-16 1088
作者提出了全景可控自动驾驶视频生成模型Panacea，同时也制作了一个新自动驾驶视频数据集Gen-nuScenes。
改进YOLO系列 | CVPR 2021 | Involution：超越convolution和self-attention的神经网络算子
YOLOv8项目贡献者
02-21 3329
关于 Involution 的一些想法和思考
自动驾驶 车道检测实用算法
小舟的博客
10-07 1625
直方图应该有两个尖峰，各代表一条车道线，左边的尖峰是左边的车道线，右边的尖峰是右边的车道线。为了 正确的识别图像中的车道，首先需要消除图像中的径向偏差。在前面的各步骤中，我们进行了图像的二元阈值化和视角变换，最终获得一个黑白图像，其中白色的像素代表我们试图检测的车道线的部分。最后，利用两个检测到的车道线的位置，并假设摄像头位于图像的中心位置，可以计算出汽车相对于车道的位置。在上图中，最左边的图像显示了原始的失真图像，最右侧的图可以看出图像顶部的角度扭曲，中间的图像是经过摄像头校准后的未失真图像。
重新定义自动驾驶的动态视觉？谷歌提出几何优先的动态场景方法MonST3R
soaring_casia的专栏
10-16 739
从动态场景中估计几何形状（其中物体随时间移动和变形）仍然是计算机视觉的核心挑战。当前的方法通常依赖于多阶段系统处理或全局优化方法，将问题分解为深度和流量等子任务，导致系统复杂且容易出错。本文提出了Motion DUSt3R (MonST3R)，这是一种新颖的几何优先方法，可直接从动态场景中估计每个时间步的几何形状。作者的主要见解是，通过简单地估计每个时间步的点图，可以有效地将DUSt3R的表示（以前仅用于静态场景）调整到动态场景。
无人机之自动驾驶技术
最新发布
yunzhuokeji的博客
10-17 310
无人机的自动驾驶技术是一个集成了多学科领域的复杂系统，它使无人机能够在没有人工干预的情况下，自主完成起飞、飞行、执行任务、降落等全过程。集成多种卫星导航系统（如GPS、GLONASS、Galileo等），并采用差分GPS技术，提高无人机的定位精度和抗干扰能力。通过机器视觉技术和深度学习算法，无人机能够实时分析传感器数据，识别目标、障碍物和地形等信息，以做出更加精准的决策。基于深度学习和计算机视觉算法，无人机能够自主识别障碍物、调整飞行路径并做出决策，以应对突发情况和干扰。
智能驾驶|迈向智能出行未来，AI如何应用在自动驾驶？
2403_87637416的博客
10-12 755
随着人工智能（AI）技术的飞速发展，其在自动驾驶领域的应用也日益广泛，为交通领域带来了巨大的变革和潜在的影响。1.感知与识别：自动驾驶车辆需要通过传感器获取周围的信息，例如雷达、激光雷达、摄像头等，然后使用AI算法对这些信息进行处理，识别道路、车辆、行人、信号灯等物体，以便做出正确的驾驶决策。4. 数据分析与学习：自动驾驶车辆通过AI算法对大量的数据进行分析和学习，以提高自身的驾驶能力和准确性，例如自动学习驾驶员的行驶习惯、预测道路状况等。1.个人出行：自动驾驶技术可以提高个人出行的安全性和便利性。
【自动驾驶】控制算法（十二）横纵向综合控制 | 从理论到实战全面解析
Hello！大家好，我是清流君，愿我的分享能助您一臂之力。荣幸与您共探移动机器人世界！✨
10-09 2524
本文是自动驾驶控制算法系列的第十二节，也是本系列的收官之作。这一节综合运用了前十一节的知识，详细讲解了如何实现横向和纵向控制，并介绍了规划接口的重要性。首先，文章介绍了轨迹规划的定义和重要性，强调了规划轨迹与路径规划的区别，以及其在自动驾驶中的关键作用。接着，通过直角坐标系下的轨迹规划示例，详细解释了如何设计满足特定条件的轨迹。 文章随后深入探讨了横向控制和规划接口，包括匹配点的更新、规划点与时间的关系，以及如何通过横向控制和规划接口实现车辆的横向运动控制。在纵向控制部分，文章详细解释了横向误差的计算方法
自动驾驶TPM技术杂谈 ———— 惯性导航定位技术
永远的菜鸡小詹的博客
10-15 895
惯性是所有质量体本身的基本属性。惯性导航系统不与外界发生任何光电联系，仅靠系统本身就能对汽车进行连续的三维定位和三维定向。惯性导航系统是一种不依赖于外部信息，也不向外辐射能量的自主式导航系统，其主要由惯性测量单元、信号预处理和机械力学编排3个模块组成。一个惯性测量单元包括3个相互正交的单轴加速度计和3个相互正交的单轴陀螺仪，结构单元组成如下。信号预处理部分对惯性测量单元输出信号进行信号调理、误差补偿并检查输出量范围等，以确保惯性测量单元正常工作。
51c自动驾驶~合集3
whaosoft~aiotの开发板商城
10-10 1948
UniAD在自动驾驶的每个子任务中使用交叉注意力，显式指定了信息流向，且只能利用nuScenes类的封闭数据集。与之相对的，基于多模态基础模型的自动驾驶架构只使用自注意力层，将视觉信息映射为tokens，和多模态prompt的tokens一起输入自注意力层，多模态prompt隐式指定了信息流向，基础模型也已经用开放数据集进行了预训练。这是一种与UniAD互补的思路。
自动驾驶系统研发系列—智能驾驶新技能：MEB低速紧急制动系统带来更多驾驶安全保障
u013889591的专栏
10-17 223
*低速紧急制动辅助系统（MEB）**是一项智能驾驶辅助功能，专为车辆在低速行驶环境中避免碰撞而设计。其主要目标是在驾驶员未能及时做出反应的情况下，通过自动紧急制动，帮助车辆避免与前后方障碍物发生碰撞。MEB系统的工作机制依赖于车辆上的多种传感器（如超声波雷达、环视摄像头等），通过这些传感器，系统能够持续监测车辆周围的环境，特别是在低速行驶的情况下（通常为1km/h到10km/h之间）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值