- 博客(9)
- 收藏
- 关注
原创 适合小白的Detr3D详解:3D目标检测的“Transformer革命”
本文用大白话+代码逐行解析的形式,带你搞懂Detr3D这个将Transformer引入3D目标检测的开创性工作。
2025-02-15 16:07:08
1465
原创 BEVFormer模型技术解析与代码实现
其中时序注意力机制主要利用当前帧的bev query与历史帧的bev feature(其实就是历史时刻的bev query)计算attention,而空间注意力机制是bev query和此前提取到的img feature map计算attention。BEV Queries 的初始化,一般是采用torch 内置的nn.Embedding进行随机初始化,随后训练后会固定到满足数据分布bias的值,在部署推理阶段bev query的值是定值,随着model ckpt一起加载。
2025-02-14 14:04:16
1133
转载 端到端自动驾驶—路线探讨
个人猜测特斯拉是基于worldmodel,,,因为tesla这么大的算力,我想不是训练模块化端到端,也不是训练VLM,,只有world model匹配如此大算力。Mile是一篇非常好的学术工作,指的不是性能好,而是启发性强。因为模块化端到端的中间模块,就是通过对应的感知,释加显示的约束,减小求解空间,那这带来的好处就是好训练,不好就是可能把更有效的规划结果给约束掉了。基于Diffusion的方法,和前面所说的直接端到端、模块化端到端,甚至基于world model的端到端,不冲突,是结合使用的。
2025-02-11 10:39:30
265
原创 BEV开山之作Lift-Splat-Shot (LSS) 深度详解
LSS(Lift-Splat-Shot)是由Philipp Henzler等人于2021年提出的一种用于自动驾驶感知系统的视角转换方法。该方法通过三个主要步骤——Lift、Splat和Shot,将多视角图像特征映射到统一的鸟瞰图特征空间,从而支持更精确的3D目标检测。LSS作为一种创新的视角转换方法,在自动驾驶感知系统中展现了巨大的潜力。通过Lift、Splat和Shot三个阶段的有效结合,LSS实现了从透视视图到鸟瞰图的高效转换,支持更精确的3D目标检测和动态场景理解。轻量化设计。
2025-02-10 22:44:13
1063
原创 详解BEVDet:基于鸟瞰图的自动驾驶3D目标检测新范式
在自动驾驶的感知系统中,准确检测周围环境中的3D物体(如车辆、行人、交通标志等)是保证安全决策的核心任务。2021年提出的BEVDet(Bird's-Eye-View Detection)通过构建统一的鸟瞰图特征空间,开创了多视角视觉感知的新范式。例如,在远距离物体上,由于透视效应,物体的实际尺寸可能被严重压缩,导致难以精确估计其真实大小和位置。关键技术:空洞卷积扩大感受野,能够在不增加计算量的情况下捕获更大范围的空间信息。:空洞卷积扩大感受野,能够在不增加计算量的情况下捕获更大范围的空间信息。
2025-02-09 23:02:13
1146
原创 自动驾驶3D视觉入门之路(二)——坐标系转换(2)
本篇内容主要还是阐述3D视觉中的重要坐标系转换,这也是入门3D视觉最重要的理论基础!后面我们将正式开始接触当前大火3D视觉核心模块——BEV模型啦~!如有问题,劳烦指正!!
2023-12-20 23:10:12
1992
3
原创 自动驾驶3D视觉入门之路(二)——坐标系转换(1)
本节主要介绍不同坐标系之间的转换方法与原理,深度解析3D空间与2D像素空间的关联,重点理解3D视觉入门的最关键一环!!坐标系转换主要分为3D坐标系之间的转换、3D坐标系到2D坐标系的转换以及2D坐标系到3D坐标系的转换。
2023-12-19 23:34:19
3062
2
原创 自动驾驶3D视觉入门之路(一)——自动驾驶中的坐标系
入门3D视觉,最重要的就是要搞清楚自动驾驶中的几种坐标系类型以及其之间的联系,这涉及到一切对数据的预处理方式以及模型的构造。搞清楚坐标系转换才可以理解BEV算法中的多相机融合、或者BEV4D的时许融合。以nuscenes数据集为例,自动驾驶中主要涉及到五种坐标系:世界坐标系、车辆坐标系、雷达坐标系、相机坐标系、像素坐标系。map地图传感器分布及坐标系。
2023-12-16 23:19:17
2484
3
原创 【已解决】Warning: Grad strides do not match bucket view strides.
今天在使用mmdet3d进行多卡训练时显示梯度尺度与桶步伐不匹配问题,github上逛了一圈发现可能是由于transpose()、permute()以及view()等操作导致tensor内存不连续,在所有变换操作后使用.contiguous()方法即可解决该问题。
2023-08-01 10:52:24
6691
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人