【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明

已于 2024-09-04 15:17:50 修改
阅读量3.1k 收藏 47
点赞数 30
分类专栏： 目标检测实战 文章标签： BEVFusion 目标感知 mmdet 3D目标检测 BEV
于 2024-08-15 14:22:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QLeelq/article/details/126550794
版权

文章目录

BEVFusion相关的其它文章链接：

  1. 【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
  2. MIT-BEVFusion训练环境安装以及问题解决记录
  3. 【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
  4. 【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
  5. 【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
  6. 【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder

1. 结构简介

模型BEVFusion，内部包含四个模块。encoder、fuser、decoder和head。它们之间的流程图如下所示。
在这里插入图片描述

下面就这四部分的主要参数进行简要说明，具体的流程会在后续的文章展开。

（1）encoder模块

encoders的作用是将相机和点云特征转化为BEV特征。它的配置参数如下：

在这里插入图片描述

  • lidar的encoder

lidar的encoder主要有两部分，分别是voxelize和backbone，其中backbone部分使用的是SparseEncoder方式。

最低0.47元/天 解锁文章
BevFusion (5):逐行代码详解
@bangbang的博客
03-23 2645
论文中给出了Bevfusion的架构图，它的输入是多视角的相机和点云图，经过两个特定的head,分别用于做检测任务和分割任务。图1 Bevfusion 结构图Bevfusion因为有两个模态的输入：多视角相机和点云，所以对应两个分支：相机分支和点云分支。相机分支：输入6个视角的图片后，提取特征，然后经VT(View Transformer)转换之后得到相机的Bev特征。激光雷达分支：输入点云数据，经过Encoder编码得到体素化Lidar特征，然后沿z方向展平，得到Lidar Bev特征。
【MIT-BEVFusion代码解读】第三篇：camera的encoder部分
非晚非晚的博客
08-29 2941
camera的encoder主要有3部分，分别是backboneneck和vtransform部分。其中backbone使用neck使用vtransform部分使用的是，如下所示。fill:#333;color:#333;color:#333;fill:none;使用使用使用backboneneckvtransform调用的顺序分别为，具体代码如下所示。
bevfusion代码阅读
qq_42719217的博客
07-18 2490
中弹出键为 'type' 的值，该值指定了要构建的对象类型。如果该值是一个字符串，函数从注册表中获取对应的类对象；如果该值是一个类对象，则直接使用该对象；否则，抛出一个类型错误。此函数的作用是根据配置字典构建一个模块对象，可以根据需要自定义配置来构建不同的模块。这段代码是一个函数，用于根据配置字典构建一个模块对象。函数的参数包括一个配置字典。最后，函数使用构建好的类对象和剩余的参数构建一个对象，并返回该对象。函数首先进行参数的类型检查，确保。，和一个可选的默认参数字典。
MIT-BEVFusion模型理解
最新发布
weixin_43833005的博客
03-13 1068
论文主要针对的问题为：在近期自动驾驶系统中的多传感器融合方法研究中大部分都是基于点层面的融合，主要通过图像特征来增强雷达点云的信息（具体的，通常采用图像语义标签、CNN特征或者从2D图像中生成的虚拟点来增强雷达点云，然后再采用已有的Lidar-based检测器来预测3D bouding box）。而这种相机到雷达投影的方法会丢弃图像特征的语义密度，特别是对于3D场景分割这类的语义任务。所以作者提出了该面向多任务和多传感器融合的bev融合框架。
BEVFusion: A Simple and Robust LiDAR-CameraFusion Framework 细读
qqsuiying的博客
06-18 4639
BEVFusion这个名字是有撞车的两个自动驾驶相关的文章都是这个简称BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation mit-han-lab/bevfusion: BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation (github.com)主要是从模型加速的方向去进行优
MIT-BEVFusion系列九--CUDA-BEVFusion部署2 create_core之参数设置
duanmushuangquan的博客
02-20 1579
cuda-bevfusion中的参数设置
mit-bevfusion结构代码解读
2301_77102499的博客
04-22 2434
代码的部分: bevfusion-main\mmdet3d\models\backbones\second.py。代码部分:bevfusion-main\mmdet3d\models\necks\second.py。
BEV感知---BevFusion详解
热门推荐
qq_44799766的博客
03-21 1万+
一种非常经典的多模态融合感知方案叫 BEVFusion。这是一种用于多任务多传感器 3D 感知的高效通用框架。BEVFusion 将相机和 LiDAR 功能统一在共享 BEV 空间中，完全保留几何和语义信息。相机和点云分支没有明显的主次关系，相互独立，结果上又相辅相成。高效、准确的多传感器感知对于自动驾驶汽车的安全至关重要。BEVFusion 将最先进的多传感器融合模型的计算成本降低了一半，并在小而远的物体以及雨天和夜间条件下实现了大幅精度提高。它为安全、稳健的自动驾驶铺平了道路。
【MIT-BEVFusion代码解读】第四篇：融合特征fuser和解码特征decoder
非晚非晚的博客
08-29 1917
的大小，实际上源代码也是这么做的。最后将得到两个分支的特征进行。，第一个特征使用卷积降低通道数即可，第二个则需要反卷积来提升。所以backbone只有两个分支，都是5个卷积模块组成。的长和宽都减半至90，然后在经过5个相同的。将通道降至128，后面再接5个相同的。，将通道数128上至256，并且将。特征进行融合，这里使用的。部分由两部分组成，分别是。，这个分支首先经过第一个。，然后再卷积得到 =>提取特征，最后得到特征。得到了两个大小不同的。
mit的BEVFusion代码学习——bevfusion.py
weixin_62497890的博客
10-17 2194
mit的BEVFusion代码学习（注释版）
【MIT-BEVFusion代码解读】第二篇：LiDAR的encoder部分
非晚非晚的博客
08-15 2790
稀疏卷积常用于3D项目（如3D点云分割）中，由于点云数据是稀疏的，无法使用标准的卷积操作。同理，2D任务中，如果只处理其中一部分像素，也需要使用稀疏卷积，这样有助于模型加速。​ 本质上就是通过建立哈希表，保存特定位置的计算结果。稀疏卷积和普通卷积没有区别，最重要的区别在于卷积的数据的存储方式和计算方法，这种计算方法可以增加计算稀疏点云的效率，其他的都是完全相同的(但SubMConv3d还是稍微有点区别的，只有中心kernel覆盖值才计算)，唯一多了一个indice_key，这是为了在indice。
【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
非晚非晚的博客
08-09 2033
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation发表单位：MIT发表期刊：ICRA 2023多传感器融合对于准确和可靠的自动驾驶系统至关重要。最近的方法基于点级()融合方法：使用图像特征对激光点云进行增强。但是，相机到激光()投影的方法丢掉了图像的语义密度，特别对于3D场景分割任务。在本文中，我们使用BEVFusion。
BEVFusion论文解读
weixin_42620109的博客
03-22 3096
本文将介绍MIT韩松课题组在自动驾驶方面的最新工作，他们提出了一种高效且通用的多任务多传感器融合框架BEVFusion。它统一了共享鸟瞰(BEV)表示空间中的多模态特征，很好地保留了几何信息和语义信息。
bevfusion transformation 分析
huang_victor的博客
05-10 1255
bevfusion是在mmdetection3D的代码框架上的二次开发，但是基于的版本是比较早期的版本，坐标系系统可能比较混乱。如下具体分析下训练过程中的坐标变换，点云数据增强、图像3D数据增强、LSS过程中如上两个变化的使用。
BEVFusion（mit）
qq_45783225的博客
05-23 820
对于关键词传感器融合&BEV，如果放在一起那确实是挺窄的方向，但凡去掉一个关键词，都是一个热门的大方向。所以今天就犯了一个错误，总觉得怕自己学的不够全面，又想看BEV融合，但同时又不想错过各个领域的好方法，于是还emo了一会。首先利用swin-t提取相机的特征，然后利用lss把图像空间的特征转变为BEV空间下的特征，具体做法是先利用估计得到图像的深度，再根据深度得到投射到空间中的伪点云特征。为了避免特征在转变为BEV时产生的误差导致的融合不准确，利用带有残差的卷积BEV编码器来融合特征，补偿失调。
MIT&上交&OmniML提出BEVFusion：具有统一鸟瞰图表示的多任务多传感器融合
CV_Autobot的博客
07-16 1602
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取作者：LiteAI（源：知乎）编辑：CV_Autobothttps://www.zhihu.com/question/521842610/answer/2509883257多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢失了...
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation(mit-麻省理工版本)
2301_77102499的博客
03-31 2122
上一篇的bevfusion虽然与这篇的名字很相像但是解决的办法不同，上一篇主要是讲让激光相机融合前独立运行，剥离依存关系。本篇主要讲解决融合时BEV特征统一性问题，并对该方式的运行效率做了优化。下面来看具体情况。(1).来自不同传感器的数据以根本不同的方式表达:例如，相机以透视视图捕获数据，而激光雷达以3D视图捕获数据。为了解决这种视图差异，我们必须找到一种适用于多任务多模态特征融合的统一表示。由于二维感知的巨大成功，自然的想法是将激光雷达点云投影到相机上，并用二维cnn处理RGB-D数据。然而，
BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation——论文笔记
m_buddy的博客
01-15 698
介绍：在这篇文章中提出一种Lidar和Camera在BEV空间下实现特征融合的方法，有效利用了图像丰富语义信息和雷达深度信息，构建一个不同模态数据融合的范式。对于图像部分生成BEV特征采用的是LSS的方案，不过这里对“splat”这个操作进行了改进（这个操作在原版实现中比较耗时，距离实际工程化又近了一步），也就是通过GPU多线程的特性直接在不同的深度bins下求和，而不需要累加求和之后再相减，这样便可极大提升运算的效率（文中指出大概快了40倍）。
mit-bevfusion代码复现
12-31
### 实现 MIT BEVFusion 项目代码复现教程 #### 准备工作 为了顺利进行BEVFusion项目的代码复现，确保安装了必要的依赖库和工具。这些准备步骤包括但不限于Python版本的选择、虚拟环境的创建以及特定软件包的安装。 #### 安装依赖项 按照官方文档说明来设置开发环境是非常重要的。通常情况下，建议使用`conda`管理环境以简化依赖关系处理过程[^2]： ```bash conda create -n bev_env python=3.8 conda activate bev_env pip install -r requirements.txt ``` #### 数据集获取与预处理 获得适当的数据集对于训练模型至关重要。根据BEVFusion的要求下载所需数据集，并遵循其指定的方式完成数据预处理操作。这可能涉及到将原始传感器读数转化为适合输入给定网络架构的形式，比如通过VoxelNet处理激光雷达点云数据[^1]。 #### 模型构建 理解并实现多模态融合的核心在于掌握不同传感模式间信息交互机制的设计原理。具体来说，在本案例中是指如何有效地将在BEV视角下的图像特征同LiDAR特征相结合。此部分涉及到了解两个主要流程——即从摄像头视频帧提取语义丰富的视觉描述子及其向BEV坐标的映射方法；还有就是怎样利用全卷积神经网络(FCN)达成异构源间的无缝衔接[^3]。 #### 训练与评估 一旦完成了上述准备工作，则可以着手于实际的实验环节。调整超参数直至找到最优组合，并定期保存检查点以便后续分析性能表现。此外，还需定义合理的评价指标体系用于衡量最终成果的好坏程度。 #### 调试优化 面对可能出现的各种问题时，耐心细致地排查错误根源所在显得尤为关键。无论是硬件资源不足还是算法逻辑缺陷都可能是造成进度受阻的原因之一。针对这些问题采取有效的解决措施能够显著提升工作效率。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

非晚非晚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值