BevFusion (5):逐行代码详解

已于 2024-09-05 18:43:58 修改
阅读量2.5k 收藏 12
点赞数 2
分类专栏： BEV 感知 文章标签： Bev Bevfusion 代码详解
于 2024-03-23 18:33:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/136604955
版权
本文详细介绍了BevFusion模型的结构，包括相机和点云的Bev特征提取，编码器、fuser、decoder和header四个部分。相机分支通过vtransformer模块融合深度和图像特征，点云分支则通过体素化和backbone提取Bev特征。在fuser部分，两者特征被融合，经过decoder进一步提取特征，最后在header部分进行解码，生成检测和分割输出。文章深入探讨了vtransformer的DepthLSSTransformer、视锥转换和bev pool的实现细节，以及点云和图像特征的融合过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1. Bevfusion 结构介绍

1.1 结构概览

论文中给出了Bevfusion的架构图，它的输入是多视角的相机和点云图，经过两个特定的head,分别用于做检测任务和分割任务。

在这里插入图片描述

图1 Bevfusion 结构图

Bevfusion因为有两个模态的输入：多视角相机和点云，所以对应两个分支：相机分支和点云分支。

  • 相机分支：输入6个视角的图片后，提取特征，然后经VT(View Transformer)转换之后得到相机的Bev特征。
  • 激光雷达分支：输入点云数据，经过Encoder编码得到体素化Lidar特征，然后沿z方向展平，得到Lidar Bev特征
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
非晚非晚的博客
08-15 3029
模型BEVFusion，内部包含四个模块。encoderfuserdecoder和head。它们之间的流程图如下所示。下面就这四部分的主要参数进行简要说明，具体的流程会在后续的文章展开。
【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
非晚非晚的博客
08-15 2711
稀疏卷积常用于3D项目（如3D点云分割）中，由于点云数据是稀疏的，无法使用标准的卷积操作。同理，2D任务中，如果只处理其中一部分像素，也需要使用稀疏卷积，这样有助于模型加速。​ 本质上就是通过建立哈希表，保存特定位置的计算结果。稀疏卷积和普通卷积没有区别，最重要的区别在于卷积的数据的存储方式和计算方法，这种计算方法可以增加计算稀疏点云的效率，其他的都是完全相同的(但SubMConv3d还是稍微有点区别的，只有中心kernel覆盖值才计算)，唯一多了一个indice_key，这是为了在indice。
BevFusion_5__逐行代码详解.html
02-21
BevFusion_5__逐行代码详解.html
文献总结：Bevfusion (mit)
最新发布
m0_47211450的博客
03-29 754
总结了BEVfusion(mit)论文要点，以及对该项目代码进行了复现和学习。
mit的BEVFusion代码学习——bevfusion.py
weixin_62497890的博客
10-17 2177
mit的BEVFusion代码学习（注释版）
BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation——论文笔记
m_buddy的博客
01-15 693
介绍：在这篇文章中提出一种Lidar和Camera在BEV空间下实现特征融合的方法，有效利用了图像丰富语义信息和雷达深度信息，构建一个不同模态数据融合的范式。对于图像部分生成BEV特征采用的是LSS的方案，不过这里对“splat”这个操作进行了改进（这个操作在原版实现中比较耗时，距离实际工程化又近了一步），也就是通过GPU多线程的特性直接在不同的深度bins下求和，而不需要累加求和之后再相减，这样便可极大提升运算的效率（文中指出大概快了40倍）。
【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
非晚非晚的博客
08-29 2848
camera的encoder主要有3部分，分别是backboneneck和vtransform部分。其中backbone使用neck使用vtransform部分使用的是，如下所示。fill:#333;color:#333;color:#333;fill:none;使用使用使用backboneneckvtransform调用的顺序分别为，具体代码如下所示。
mit-bevfusion结构代码解读
2301_77102499的博客
04-22 2363
代码的部分: bevfusion-main\mmdet3d\models\backbones\second.py。代码部分:bevfusion-main\mmdet3d\models\necks\second.py。
BEV感知---BevFusion详解
热门推荐
qq_44799766的博客
03-21 1万+
一种非常经典的多模态融合感知方案叫 BEVFusion。这是一种用于多任务多传感器 3D 感知的高效通用框架。BEVFusion 将相机和 LiDAR 功能统一在共享 BEV 空间中，完全保留几何和语义信息。相机和点云分支没有明显的主次关系，相互独立，结果上又相辅相成。高效、准确的多传感器感知对于自动驾驶汽车的安全至关重要。BEVFusion 将最先进的多传感器融合模型的计算成本降低了一半，并在小而远的物体以及雨天和夜间条件下实现了大幅精度提高。它为安全、稳健的自动驾驶铺平了道路。
BEVFusion论文解读
weixin_42620109的博客
03-22 3080
本文将介绍MIT韩松课题组在自动驾驶方面的最新工作，他们提出了一种高效且通用的多任务多传感器融合框架BEVFusion。它统一了共享鸟瞰(BEV)表示空间中的多模态特征，很好地保留了几何信息和语义信息。
bevfusion代码阅读
qq_42719217的博客
07-18 2469
中弹出键为 'type' 的值，该值指定了要构建的对象类型。如果该值是一个字符串，函数从注册表中获取对应的类对象；如果该值是一个类对象，则直接使用该对象；否则，抛出一个类型错误。此函数的作用是根据配置字典构建一个模块对象，可以根据需要自定义配置来构建不同的模块。这段代码是一个函数，用于根据配置字典构建一个模块对象。函数的参数包括一个配置字典。最后，函数使用构建好的类对象和剩余的参数构建一个对象，并返回该对象。函数首先进行参数的类型检查，确保。，和一个可选的默认参数字典。
"混合A*（Hybrid A*）路径规划算法详解：逐行源码解析与Matlab实践",逐行讲解hybrid astar路径规划 混合a星泊车路径规划 带你从头开始写hybridastar算法，逐行源码分
02-02
通过Matlab，开发者可以快速地将算法思路转化为代码，并通过图形化界面直观地展示算法的搜索过程和最终结果。 具体到文件名称中的内容，它们似乎是一系列关于Hybrid A*算法的讲解文档和图像资料。文件名称暗示了...
PFC 2D直剪模拟：代码逐行解析与源文件分享,PFC 2D直剪模型代码解析与源文件提供：二维直剪程序详解及代码逐行解读,PFC 2D 二维直剪，代码逐行解释，提供源文件 ,PFC; 2D; 直
03-06
文件的详细列表中多次出现“代码逐行解释”和“提供源文件”，表明这些文档中应该包含了对源代码的详细注释和解释，这对于理解PFC软件内部运作机制、学习PFC编程技巧以及对模拟结果的分析具有极大的帮助。...
Opencv实现简易手势识别，逐行代码详解与论文套用
项目代码中提供了逐行的精细注释，方便学习者和开发者理解和学习程序的实现细节，对于学习计算机视觉和人工智能领域的初学者和进阶者来说，是一份非常有价值的学习材料。 知识点详细说明： 1. OpenCV（Open Source...
初学者Python算术游戏：积分代码详解
#### 5. 数据存储 - **数据格式化**：在将数据写入文件时，可能需要将数据格式化为字符串，以便于存储和后续读取。在Python中可以使用`str.format()`方法或f-string（Python 3.6及以上版本）来格式化数据。 #### 6....
掌握多目标优化：MATLAB代码详解与应用
5. 利用MATLAB工具箱：MATLAB提供了多种专用工具箱来辅助多目标优化，比如优化工具箱中的“gamultiobj”函数专门用于求解具有多个目标的优化问题。此外，全局优化工具箱中的遗传算法和模式搜索等函数也支持多目标...
【CUDA-BEVFusion】qat/export-camera.py 代码解读
old_power的博客
01-23 255
【CUDA-BEVFusion】qat/quantize.py代码的主要功能是将一个名为 `bevfusion` 的模型导出为 ONNX 格式，支持 INT8 和 FP16 两种精度。
技术精讲 | BEVFusion: 基于统一BEV表征的多任务多传感器融合
SYNKROTRON的博客
06-25 1699
公司基于人工智能、软件测试、数字孪生与大数据等技术，致力于自动驾驶工具链的研发，拥有一支高素质的研发团队，研发了国际领先的自动驾驶仿真及数据闭环工具链SYNKROTRON™ Oasis产品系列，能够提供高精度传感器模型、动力学模型及感知级交通环境仿真解决方案等，客户可以在仿真平台上对自动驾驶系统开展大规模的仿真测试和模型训练，提前识别自动驾驶系统缺陷、降低实车测试成本、消除场景端落地的安全隐患，加速自动驾驶技术在场景端的安全落地。相比之下，该技术在没有任何近似的情况下是精确的，但仍然更快。
bevfusion transformation 分析
huang_victor的博客
05-10 1243
bevfusion是在mmdetection3D的代码框架上的二次开发，但是基于的版本是比较早期的版本，坐标系系统可能比较混乱。如下具体分析下训练过程中的坐标变换，点云数据增强、图像3D数据增强、LSS过程中如上两个变化的使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值