多传感器融合 bevfusion

已于 2024-01-04 15:44:13 修改
阅读量655 收藏 6
点赞数 6
分类专栏： 深度学习宝典 3D视觉 文章标签： 计算机视觉 人工智能 自动驾驶
于 2023-12-18 15:51:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/124929504
版权
BevFusion是多传感器融合技术，整合LiDAR和相机数据到BEV表示中，增强物体检测和跟踪性能。通过独立处理雷达和相机数据，然后在BEV空间融合，解决外参不准、相机噪声和雷达噪声问题，实现近似后融合的灵活性。
摘要由CSDN通过智能技术生成

目录

BevFusion

背景介绍

liar，radar：

BevFusion

BevFusion是一种多传感器融合技术，它可以将来自不同传感器（如LiDAR和相机）的数据融合到一个统一的BEV表示中。BevFusion的优点在于它能够结合多种传感器的优点，从而在物体检测和跟踪任务中取得更好的性能。

  1. 相机端采用BEV算法生成BEV特征，如bevformer、LSS
  2. LIDAR端用3D卷积提取BEV特征，与相机端特征concat起来。
  3. 采用通道注意力，全局池化+1*1卷积表示相机端和LIDAR端特征的权重比。

背景介绍

我们将目前SOTA里的前融合方法大致分为两类，一种如图1(a）所示，首先将雷达点，根据外参和相机内参投影到图像或图像提取的2D特征上去采样对应的视觉特征，然后拼接到点云上，后面就可以通过常用的点云3D检测算法进行处理，比如3DSSD[1], PointPillar[2], CenterPoint[3]等，目前PointPainting[4], PointAugment[5]就属于这类工作；第二种如图1(b)所示，先对雷达点云进行特征提取，然后将特征或者初始预测值按照外参和相机内参投影到图像或图像提取

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
  • 6
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【多传感器融合】BEVFusion: 激光雷达和视觉融合框架 NeurIPS 2022
黎国溥
12-01 4487
BEVFusion其实有两篇，NeurIPS 2022 | 北大&阿里提出。另一篇是ICRA 2023 | MIT提出。本文先分享阿里那篇，下面简单总结一下两篇论文。重点: 介绍了一个融合摄像头和激光雷达数据的框架，用于3D对象检测。其创新之处在于使摄像头流程不依赖激光雷达输入，解决了现有方法过度依赖激光雷达数据的局限性。方法: BEVFusion框架使用两个独立流程来处理激光雷达和摄像头数据然后在鸟瞰视图(BEV)层面进行融合。这种方法即使在激光雷达功能失常，或摄像头失常的情况下也保证了稳健性。性能。
BEVFusion
guangqianzhang的博客
04-25 3417
Fusion模型提高了单雷达下的小物体检测和远距离检测，这些都可能得益于稠密的相机信息。BEVFusion，自称是构建了一个BEV 下的一个多任务多传感器融合统一范式，在共享的BEV空间下统一多模态特征， 找到适合多任务多模态特征融合的统一表示,让融合后的特征同时保留语义和几何信息。论文中认为每个相机的特征像素都投回一个3D空间下的射线，从而在BEV下保留了大量的语义信息。为了加速聚合，减少间隔，优化了LLS中的池化方法，实现了专门的GPU内核，直接在BEV网格上并行化计算，大幅度降低特征聚合等待时间。
BEV的多传感器融合方案
最新发布
weixin_55982578的博客
04-02 1105
是一个先进的技术，它通过使用一种特别的方法来处理来自多种传感器的信息，这对于自动驾驶系统来说非常重要。但是，每种传感器捕获的信息类型不同，处理这些不同类型的信息通常需要大量的计算资源，并且很难实现传感器之间的有效合作。，它使用一种统一的方法来处理所有不同的传感器信息，这意味着它可以同时学习和理解不同传感器提供的数据，而不需要对每种数据进行单独的处理。”的智能算法实现的，它可以处理不同的数据类型并找出它们之间的关系。早期融合指的是在感知层面将来自相机和雷达的原始数据进行融合。
BEV感知---BevFusion详解
qq_44799766的博客
03-21 4916
一种非常经典的多模态融合感知方案叫 BEVFusion。这是一种用于多任务多传感器 3D 感知的高效通用框架。BEVFusion 将相机和 LiDAR 功能统一在共享 BEV 空间中，完全保留几何和语义信息。相机和点云分支没有明显的主次关系，相互独立，结果上又相辅相成。高效、准确的多传感器感知对于自动驾驶汽车的安全至关重要。BEVFusion 将最先进的多传感器融合模型的计算成本降低了一半，并在小而远的物体以及雨天和夜间条件下实现了大幅精度提高。它为安全、稳健的自动驾驶铺平了道路。
模型部署 - BevFusion - 思路总结
点云算法工程师
03-04 1386
PyTorch 转 ONNX 转 TRTFP16 优化cuda-graph 优化INT8 量化优化ONNX 模型层面优化Pipeline 优化模型内深度优化我们需要先快速的去了解网络，然后将其转换成 Onnx 和 Tensorrt，然后再去根据结果进行二次优化。
多传感器融合综述---FOV与BEV
lovely_yoshino的博客
07-22 8361
在阅读了许多多传感器工作后，这里作者对多传感器融合的方法做出总结。本文将从单传感器讲起，并一步步去向多传感器方向总结。之前的《》博客从算法层面介绍了多传感器的分类以及数据传输的能力，而《》博客则是从标定层面向读者介绍了如何对多传感器进行先一步的标定处理。而这篇文章将从方法层面总括多传感器的分类以及作者对多传感器的理解与思考。.........
【多传感器融合】BEVFusion: 多任务-多传感器融合框架 ICRA 2023
黎国溥
12-03 592
BEVFusion ICRA 2023| MIT提出的。它是一个为多任务、多传感器融合提供了一个高效、通用且任务可拓展的框架。通过在共享的BEV空间中统一多模态特征，并保持几何结构和语义密度，它支持广泛的3D感知任务（检测、分割、预测等）
BevFusion (1): 传感器介绍
@bangbang的博客
02-27 943
激光雷达，也称光学雷达（LIght Detection And Ranging）是激光探测与测距系统的简称，它通过测定传感器发射器与目标物体之间的传播距离，分析目标物体表面的反射能量大小、反射波谱的幅度、频率和相位等信息，从而呈现出目标物精确的三维结构信息。激光雷达是自动驾驶车辆的关键传感器,如下图所示，车辆上方旋转的圆柱体对应就是激光雷达传感器。
BEVFusion：一个简单而强大的LiDAR相机融合框架
02-21
相比之下，我们提出了一个令人惊讶的简单而新颖的融合框架，称为BEVFusion，其相机流不依赖于LiDAR数据的输入，从而解决了以前方法的缺点。我们通过经验表明，我们的框架超越了正常训练设置下最先进的方法。在模拟...
多传感器融合感知技术的前沿算法与应用，包括Pointpillars、spconv+、BEVDet、LSS等算法
qq_41590635的博客
05-01 2975
多传感器融合感知技术的前沿算法与应用
PointNet 学习笔记
jacke121的专栏
07-30 5460
开山之作-PointNet 1 点云数据处理共性问题 1.1 点云数据的无序性 1.2 点云数据的旋转性与平移性 2 PointNet 2.1 针对无序性 2.2 针对旋转性和平移性 3 总结 1 点云数据处理共性问题 传统深度学习模式（处理二维图像数据），使用序列化的卷积核处理序列化的二维图像数据，但点云是一种不规则数据，在空间上和数量上可以任意分布，因此传统的深度学习模式无法处理点云数据。 1.1 点云数据的无序性 在将实景保存为点云数据时（以pcd为例），是一行存储一个点的xyz信息，如果放大到多行
PCL点云库学习笔记 点云的欧式聚类
jacke121的专栏
08-26 5214
点云欧式聚类算法流程 （1）点云读入； （2）体素化下采样（方便处理）； （3）去离散点； （4）RANSAC算法检测平面，并剔除平面点云； （5）欧式聚类； （6）结果的输出和可视化； 点云数据链接： 链接：https://pan.baidu.com/s/1VTVxn3BntbAr9tGHv6L-HA 提取码：u81q 代码： #include <vtkAutoInit.h> VTK_MODULE_INIT(vtkRenderingOpenGL) #include <pcl/io/
Windows 安装 pytorch3d 2024更新
jacke121的专栏
06-11 5208
首先安装pytorch，我安装的是 pytorch 1.5.0 py3.7_cuda102_cudnn7_0 pytorch 然后下载pytorch3d到本地，主要不要下载master分支的，下载release的版本，我这里下载最新的 v0.2.0，下载链接是https://github.com/facebookresearch/pytorch3d/archive/v0.2.0.zip. 下载到本地解压后，再以管理员方式打开...
点云标注工具推荐
jacke121的专栏
05-12 4116
3d标注_3个好用的3D点云数据标注工具推荐 weixin_39610785 2021-01-12 02:28:47 171 收藏 1 文章标签： 3d标注 版权 工程师小C的小店我也想开通小店 Python编程三剑客：Python编程从入门到实践第2版+快速上手第2版+极客编程（套装共3册） 作者：[美] 埃里克·马瑟斯（Eric Matthes） 出版社：人民邮电出版社 好评：100.0% 销售量：6 ￥148.2 更多 1、point-cloud-annotation-tool ...
open3d python 学习笔记
jacke121的专栏
07-23 4039
open3d python 学习笔记 读取转换txt import open3d as o3d source = o3d.io.read_point_cloud('semantic3d/birdfountain_station1_xyz_intensity_rgb.txt' ,format="xyz") source.paint_uniform_color([0, 255, 0]) o3d.visualization.draw_geometries([source]) 保存： 3...
module ‘open3d‘ has no attribute ‘PointCloud‘
jacke121的专栏
07-25 4033
module 'open3d' has no attribute 'PointCloud' 新版open3dopen3d-0.13.0 api改了， 改为 pc = open3d.geometry.PointCloud() # pc = open3d.PointCloud() old api Vector3dVector 新api： pc.points = open3d.utility.Vector3dVector(pc_xyzrgb[:, 0:3]) ...
点云分割学习笔记2022
jacke121的专栏
05-10 3699
PointCloudSegmentation 点云分割 PointCloudSegmentation测试笔记_AI视觉网奇的博客-CSDN博客 代码地址：https://github.com/LiyaoTang/contrastBoundary 1、背景 对点云进行语义分割是对3D世界理解的前提，鲁棒的3D分割对于各种应用非常重要，包括自动驾驶、无人机和增强现实。过往几期的分享中，大家往往关注于不同目标的分离，但很少关注3D点云的边界。目前的3D点云分割方法通常在场景边界上表现不佳，这会降...
3d人脸重建 facescape 测试
jacke121的专栏
06-22 3568
开源地址： https://github.com/zhuhao-nju/facescape demo_bilinear_basic.ipynb 代码： from src.facescape_bm import facescape_bm from src.renderer import render_cvcam from src.utility import show_img_arr np.random.seed(1000) model = facescape_bm("./biline..
机器人智能升级：多传感器融合技术详解
【深度】多传感器融合技术简介 随着科技的飞速发展，机器人技术已不再局限于传统的工业应用，而是渗透到医疗、军事、服务业等多个领域，其功能日益复杂，对智能化的要求越来越高。在机器人设计中，传感器技术扮演着...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值