【自动驾驶】《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》论文阅读笔记

已于 2023-05-18 20:45:52 修改
阅读量2k 收藏 8
点赞数 1
分类专栏： 自动驾驶 自动驾驶感知融合算法专栏 文章标签： 自动驾驶 论文阅读 人工智能
于 2022-09-18 21:46:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35975447/article/details/126919212
版权
BEVFusion是一个高效通用的多任务多传感器融合框架，将多模态特征统一在共享的鸟瞰图表示中，优化了相机到鸟瞰图的转换，提高了3D感知任务的精度，同时降低了计算成本。该方法在3D物体检测和BEV地图分割上取得了新的技术水平，并支持多种任务无缝对接。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
聿默
关注
专栏目录
订阅专栏
【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
非晚非晚的博客
08-09 1182
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation发表单位：MIT发表期刊：ICRA 2023多传感器融合对于准确和可靠的自动驾驶系统至关重要。最近的方法基于点级()融合方法：使用图像特征对激光点云进行增强。但是，相机到激光()投影的方法丢掉了图像的语义密度，特别对于3D场景分割任务。在本文中，我们使用BEVFusion。
BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation——论文笔记
m_buddy的博客
01-15 602
介绍：在这篇文章中提出一种Lidar和Camera在BEV空间下实现特征融合的方法，有效利用了图像丰富语义信息和雷达深度信息，构建一个不同模态数据融合的范式。对于图像部分生成BEV特征采用的是LSS的方案，不过这里对“splat”这个操作进行了改进（这个操作在原版实现中比较耗时，距离实际工程化又近了一步），也就是通过GPU多线程的特性直接在不同的深度bins下求和，而不需要累加求和之后再相减，这样便可极大提升运算的效率（文中指出大概快了40倍）。
【MIT-BEVFusion代码解读】第一篇：整体结构与config参数说明
最新发布
非晚非晚的博客
08-15 964
模型BEVFusion，内部包含四个模块。encoderfuserdecoder和head。它们之间的流程图如下所示。下面就这四部分的主要参数进行简要说明，具体的流程会在后续的文章展开。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
zhaoliang38的博客
06-25 1104
BEVFusion：一种高效且通用的多任务多传感器融合框架。
BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 论文笔记
weixin_45657478的博客
08-19 2316
BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 论文笔记
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
kebijuelun的博客
01-08 538
当前的融合方法主要是在 point-level 进行融合：利用图片特征增强 LiDAR point。提出了一种 BEV 下的多传感器、多任务融合方法，同时保留几何与语义信息。自动驾驶系统中多传感器融合有助于提升准确性与可靠性。选择 bev 作为特征融合的视角。
【多模态融合】BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
cjy_colorful0806的博客
04-18 998
自动驾驶系统上往往部署了多个传感器，例如，Waymo 的自动驾驶汽车有 29 个摄像头、6 个雷达和 5 个激光雷达。不同的传感器提供互补信号：例如，摄像头捕获丰富的语义信息，LiDAR 提供准确的空间信息，而雷达提供即时速度估计。因此，多传感器融合对于准确可靠的感知具有重要意义。
Learning Representation for Multi-View Data Analysis
12-23
This book equips readers to handle complex multi-view data representation, centered around several major visual applications, sharing many tips and insights through a unified learning framework....
A unified dimensionality reduction framework for semi-paired and semi-supervised multi-view data
02-09
Canonical correlation analysis (CCA) is a popular and powerful dimensionality reduction method to analyze paired multi-view data. However, when facing semi-paired and semi-supervised multi-view data ...
51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读
AIgraphX
01-13 1330
VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。
(2022.05) BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
chaoqinyou的博客
02-04 480
mit 版本的BEVFusion
论文精读——《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》
zyw2002的博客
11-24 5855
研究背景：多传感器融合对于精确可靠的自动驾驶系统是必不可少的。最近的方法是基于点级融合：用摄像机特征增强LIDAR点云。然而，相机到激光雷达的投影会丢弃相机特征的语义密度（semantic density），阻碍了这种方法的有效性，尤其是对于面向语义的任务（如三维场景分割）。本文利用BEVFusion这一高效通用的多任务多传感器融合框架，打破了这一根深蒂固的惯例。它在共享鸟瞰(BEV)表示空间中统一了多模态特征，很好地保留了几何和语义信息。为了实现这一点，我们。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation论文个人总结
豆奶泡油条
11-26 661
不同传感器拥有不同的表示，在多模态融合3D目标检测方案中，常见的是利用投影矩阵建立像素和LiDAR点之间的硬关联。2D目标检测的巨大突破引发了3D目标检测，所以一种思想是将LiDAR点投影到图像上，形成RGB-D数据，但是这样做会带来严重的几何失真，如下图(a)所示，因为在RGB-D图像中，相邻的两个像素可能在3D空间中距离很远。另一种思想是将图像像素投影到LiDAR点云中，但是由于LiDAR点云的稀疏性，大约只有5%的像素能和点云匹配上，如下图(b)所示，这严重浪费了图像丰富的语义特征。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation(mit-麻省理工版本)
2301_77102499的博客
03-31 1887
上一篇的bevfusion虽然与这篇的名字很相像但是解决的办法不同，上一篇主要是讲让激光相机融合前独立运行，剥离依存关系。本篇主要讲解决融合时BEV特征统一性问题，并对该方式的运行效率做了优化。下面来看具体情况。(1).来自不同传感器的数据以根本不同的方式表达:例如，相机以透视视图捕获数据，而激光雷达以3D视图捕获数据。为了解决这种视图差异，我们必须找到一种适用于多任务多模态特征融合的统一表示。由于二维感知的巨大成功，自然的想法是将激光雷达点云投影到相机上，并用二维cnn处理RGB-D数据。然而，
论文速读 -- BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
Darchan的博客
06-19 704
论文速读 -- BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation（论文原文阅读）
qq_60423839的博客
03-19 148
多传感器融合对于精确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢弃了相机特征的语义信息，阻碍了这些方法的有效性，特别是对于面向语义的任务(如3D场景分割)。在本文中，我们用BEVFusion打破了这种根深蒂固的惯例，BEVFusion是一种高效且通用的多任务多传感器融合框架。它将多模态特征统一到共享鸟瞰图(BEV)表示空间中，很好地保留了几何信息和语义信息。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation复现
qq_42719217的博客
08-04 862
查看显卡：nvidia -smi查看CUDA版本 nvcc -v安装gpu版本的torch：pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html。
多模态融合 - BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Repre ... (ICRA 2023)
77wpa的博客
06-19 2239
多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这种方法的有效性，尤其是对于面向语义的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的惯例，BEVFusions是一种高效通用的多任务多传感器融合框架。它在共享鸟瞰图（BEV）表示空间中统一了多模态特征，很好地保留了几何和语义信息。
USS协议详解：S7-200编程入门教程
USS（Unified System Services）协议是西门子公司提供的标准化通信接口，用于设备间的数据交换，尤其适用于PLC与上位计算机之间的通信。以下是该部分的重要知识点： 1. **USS协议简介**： USS协议允许用户通过TCP/...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

聿默

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值