【读论文】多视角视觉BEV感知论文不完全整理

已于 2024-09-04 14:29:51 修改
阅读量978 收藏 10
点赞数 9
文章标签： 深度学习 人工智能 自动驾驶 ai
于 2024-09-04 14:29:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Vehicle_jyw/article/details/141824411
版权

多视角BEV感知近年来已经逐渐收敛（卷无可卷），总结了一系列主流论文，其中主要分为两个部分：LSS-based的深度估计方法、transformer-based的BEV query方法，主要都是致力于解决2D到3D的转换，还有两篇关于BEV部署的文章，transformer架构在板端的部署仍然是难题，而深度估计的不确定性和计算的复杂度在部署上也存在很大问题，学术界和实车的部署仍然存在很大的鸿沟，BEV方案的真正落地仍然比较困难。

文章目录

1. DETR3D

Motivation

  • 现有方法会依赖中间表示（如深度估计）从二维图像提升到三维，或者直接从二维回归三维信息，这都有问题，本文直接从三维空间进行结果的预测（这里的三维从何而来？）
  • 出发点是单目3D检测，二维预测三维的固有问题

Methods

  1. 提供一组query并进行encoder编码

  2. 对这组query使用网络学习一组3D参考点
    在这里插入图片描述

  3. 将3D参考点通过内外参投影到各个视角的图像特征中，并利用双线性插值补偿某些视图缺失的特征
    在这里插入图片描述
    在这里插入图片描述

  4. 对特征进行加权，得到新的query
    在这里插入图片描述

  5. 重复1-4步，对最终的query进行3D检测框的回归
    在这里插入图片描述

  • 训练时每一层的q都会用于预测，并作为下一层的query输入，推理时只使用最后一层的query进行预测
  • 预测使用二部匹配

Thinking

  • 这一组最初提供的先验query是什么形式的？第一步直接从一组query去学三维表示，这不会有问题吗？其后的投影是在对这种大范围的学习进行修正吗？
  • 这和原始的DETR相比只继承了二部匹配这一项，head不算优雅

2. PETR

在这里插入图片描述

Motivation

  • DETR将嵌入2D位置编码的图像特征与图像query进行交互直接输出2D检测结果，而DETR3D正如上面所说，逆投影的形式不够优雅，因此PETR期望继承DETR的结构，直接嵌入3D位置编码和2D图像特征结合，与query进行交互直接输出3D检测结果

Methods

  • 多视角图像特征提取
  • 相机截锥空间转化为3D世界空间
    • 使用DGSN将截锥空间离散化，每个离散化的点可以表示为
      在这里插入图片描述，u_j和v_j为图像坐标，d_j为沿相机光心的深度
    • 使用每个相机的外参进行逆投影得到全场景的3D坐标表示
      在这里插入图片描述
  • 3D坐标与2D图像特征融合得到3D位置编码结果：
    在这里插入图片描述
    • 3D坐标表示经过MLP进行3D位置编码，2D图像特征进行1x1卷积变换维度，随后将两种特征相加并flatten为向量输入解码器
  • query使用deform-detr的方式设置
  • 解码器与DETR相同，设置L层
    在这里插入图片描述

Thinking

  • 3D坐标生成部分，即截锥空间的获取实验部分交代了使用CaDDN的方法，这不是又回到了深度估计那一套吗？
  • 看完回顾觉得最开始的motivation提的很好，但是最后的实现好像还是不是那么优雅

3. BEVDet

motivation

  • 进行BEV检测的范式创新，使用现有的工作搭建自己的框架
  • 将整体的pipeline分为低耦合的四个模块，后续工作可以针对每个单独的模块进行优化（这符合提出此篇论文的初衷——范式创新（在此以前，还有什么不同的范式吗？））

Methods

  • BEV空间的过拟合促使此篇论文还提出了单独在BEV空间进行数据增强策略以正则化
  • BEV Encoder可以用于感知一些BEV空间特有的语义：尺度、速度、方向
  • 过拟合的原因之一：图像输入为6视角，而BEV只有单视角，数据量的减少在BEV空间的学习会过拟合
  • scale-NMS：传统NMS会将较小的目标抑制，在BEV空间下对小目标进行缩放然后NMS

Thinking

  • 外积操作相当昂贵（存储、算力）
  • 能否使用DETR的方式进行端到端的BEV训练，从而避免NMS？这将是另一种范式吗？——前两个模块不变，得到BEV特征后，直接对BEV特征执行transformer的query，使用二部匹配来得到结果这可行吗？
  • BEV Encoder有必要吗？有进行特征图可视化来证实吗？

4. BEVDet4D

在这里插入图片描述

Motivation

  • 扩展了BEVDet范式，通过融合时序特征来提升检测的效果
  • 时序特征的引入能够让相机进行更好的速度估计任务
    主要工作：
  • 通过保留前几帧的BEV特征来扩充BEV特征

5. BEVDepth

Motivation

  • 可视化原本的深度估计结果发现与GT有较大的偏差，因此使用lidar生成的深度图进行深度监督
  • 将相机的内外参通过MLP后与相机的特征进行加权
  • 加速了外积的效率

6. Fast-BEV

Motivation

  • 现有的BEV方法很难在板端进行部署或者推理很慢
    • transformer算子难以支持
      在这里插入图片描述
    • 深度估计算法计算很复杂
      在这里插入图片描述

Methods

  • 假设深度按照相机光心方向均匀分布，通过变换矩阵无学习地进行转换（使用查表的方式）
  • 需要基于相机位置和内外参矩阵不变的假设
  • 最终将每个视角的相机所投射的体素聚合为一个体素的操作很昂贵，因此本文将每个视角投射到同一个体素，如果多个视角有重叠，则只使用第一个遇到的视角的体素
  • 在BEV Encoder部分采用了策略降低计算的成本
    • 降维：将Z和C维度合并
    • 多尺度合并
  • 使用连续4帧进行时序融合
  • 使用pointpillars的检测头

Thinking：

  • 本文的motivation是BEV方案落地的问题，学术界的方法在落地上存在巨大的gap，transformer算子的实现以及轻量化网络的实现催生了本文的产生
  • 实际上方法上没有太多创新，甚至使用的都是比较老的方式，但是完成了部署的pipeline，实验的设置上也强调了更多延迟的比较，同时在板端进行了实验比较
    在这里插入图片描述

7. BEVFormer

在这里插入图片描述

Motivation

  • 同时聚合时空信息，时间信息使用时间自注意力，空间信息通过交叉注意力融合多视图的信息
  • 传统的多视角图像感知使用跨相机的后处理方案，无法将不同视角的特征进行交互
  • 业界目前的BEV方法一种依赖于深度估计（BEVDet相关的算法），另一种依赖于3D先验
  • 目前聚合时间信息的工作不多，并且单纯聚合不同时间的BEV特征，由于场景的变换，很不准确，同时时间信息对于遮挡目标的预测很有帮助
  • 本文提出了一种使用transformer学习BEV特征的方式

Methods

  1. 空间交叉注意力机制
  • 预定义BEV queries（H,W,C）每个query对应一个BEV特征的像素点
  • 将BEV query lift为柱状特征，采样N个3D 参考点，然后project（投影矩阵）到二维图像得到2D points，确认哪些视图的特征被hit了
    • lift操作：预设一组离散的z坐标，将BEV queries提升到三维特征（这难道不是lift相同的操作吗？）
    • 将同一个pillar内的3D参考点使用内外参矩阵投影到不同视图的图像中，这一过程未必会涉及所有视角的图像，因此投射的头像称为被hit
    • 将被hit的图像特征与BEV query计算交叉注意力
  • 将这些2D points周围的特征作为参考特征，作加权求和得到最终的空间交叉注意力的输出
    在这里插入图片描述
  1. 时间自注意力
  • 首先根据自车运动补偿当前BEV query和历史的BEV Feature之间的位置
  • 对2帧BEV特征进行自注意力计算
  • 第一帧直接退化为BEV query和自己的注意力计算

Thinking

  • 确实提供了另一种生成BEV特征的方式，并且融合了时空信息，但是其中BEV query的lift操作和LSS的lift在某种程度上难道不是一样的吗？区别可能是LSS使用了内积操作而这里没有
  • GPT解释这篇论文的BEV query时提供了一个对query很好的解释，可以将BEV query看做一个提问者，“这个BEV特征点对应的图像特征是什么？”，然后通过与图像特征的交叉注意力计算得到，迭代学习得到最终的BEV特征

欢迎讨论！

Vehicle_jyw
关注
51-21 LSS (Lift,Splat,Shoot) ，实现 BEV 感知的开山之作 论文精读
AIgraphX
01-30 1304
本文提出了一种新的端到端体系结构，该体系结构直接从任意数量的摄像机中提取给定图像数据的场景BEV表示。其核心思想是将每个图像单独“lift”为每个相机的特征视锥体，然后将所有视锥体“splat”成栅格化BEV网格。模型不仅能够学习如何表示图像，而且还能够学习如何将来自所有相机的预测融合到场景单个表示中。
【BEV】学习笔记之FastBEV(原理+代码注释)
Rex大居
02-23 4972
FastBEV
【BEV学习日记】fastBEV部署
weixin_42172114的博客
06-24 1641
fastBEV在WSL ubuntu和ubuntu18.0.4同步部署，相关依赖环境安装，使用conda、cuda
MapTR复现总结
最新发布
清园暖歌的博客
08-30 1035
（1）创建环境（2）安装torch，需要提前安装好cuda和cudnn，教程很多这里就不赘述了版本最好是 torch==1.9.1，cuda==11.1（3）安装gcc（可选，可以跳过）因为用提供的命令大概率安装失败（4）安装 mmcv-full（注意版本一致）我注释的命令会安装失败，要先安装mim，在通过mim安装，所以直接用第二行的（5）安装 mmdet 和 mmseg（6）安装timm（7）git 下代码（8）先安装依赖（10）其他包的安装和替换。
详解视觉BEV3D检测模型: Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline
10点43的博客
02-05 4809
本文介绍一篇视觉BEV3D检测模型:，论文收录于。目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理，要么性能不高。本文提出了一种简单而有效的框架，称为，它能够在车载芯片上执行更快的BEV感知。为了实现这一目标，本文通过试验发现，其中，(1)和(3)使Fast-BEV能够在车载芯片上快速推理和方便部署，(2)，(4)和(5)确保Fast-BEV具有竞争力的性能。这些都使得Fast-BEV成为自动驾驶车载芯片上高性能、快速推理和易于部署的解决方案。
算法环境配置6_BEV系列之Fast-Bev
weixin_43653152的博客
07-10 2913
Fast-BEV环境搭建
Fast-BEV阅读笔记
weixin_43537097的博客
03-11 726
url:project:fast-bev商汤的作品。近年来，BEV感知吸引了越来越多的关注，从工业界特斯拉、一系列国产新能源汽车，到学术界众多BEV感知模型。其中不乏有很多优秀的作品，但是其考量都在如何增强模型的表现和性能。并未考虑基于transformer等模型在落地时，车载芯片的算力不足于支撑其复杂的推理过程。Fast-BEV以此为突破口进行了深入的研究。
自动驾驶感知新范式——BEV感知经典论文总结和对比（上）
苹果姐计算机视觉原创知识分享
07-22 7163
自动驾驶bev感知经典论文总结和对比
自动驾驶感知新范式——BEV感知经典论文总结和对比（下）
苹果姐计算机视觉原创知识分享
07-22 5217
自动驾驶bev感知经典论文总结和对比
Transformer+BEV感知论文大集合.zip
03-12
在本压缩包“Transformer+BEV感知论文大集合”中，包含了众多研究如何利用Transformer改进BEV感知性能的论文。这些论文可能探讨了不同的Transformer变体、优化策略、损失函数设计，以及如何将Transformer与其他模型...
【BEV感知 EA-LSS 方案】Edge-aware Lift-splat-shot
黎国溥
12-11 551
本文分享LSS方案的改进方案——EA-LSS，它解决了“深度跳变”问题，提出了一个新框架Edge-aware Lift-splat-shot。适用于“多视图转BEV”，可以代替原来的LSS模块，并有效地提高了检测精度，而推理时间的增加很少。在nuScenes测试集上验证，纯相机模型或多模态模型，EA-LSS都是有效的，并达到了Top1排名（截至本文时间2023-12）。
fastbev原版（含scatternd算子）J5上板结果
06-27
fastbev原版（含scatternd算子）J5上板结果
fastbev改进viewtransformer后的上板结果
02-21
fastbev改进viewtransformer后的上板结果
fast bev 配置文件
01-29
fast bev 配置文件
经典文献阅读之--Fast-BEV(实时鸟瞰图感知)
热门推荐
lovely_yoshino的博客
01-29 1万+
相信最近大家已经被Transformer给洗脑了，作者也在《》中提到了深度学习相关的技术。这就随之带动的就是如何使用基于纯相机的鸟瞰图（BEV）感知技术来替代昂贵的激光雷达传感器，并使其能够应用在自动驾驶上，这目前是急需解决的问题，由于现在Transformer的计算仍然需要大量资源来执行车载推理，无法满足实时性。为此我们来看一下这一篇《》文章，文中发现发现BEV表示可以在不使用昂贵的视图变换或深度表示的情况下就可以拥有较好的性能，文中将M2BEV作为Baseline，然后进一步引入（1）（2）
fast_bev 学习笔记
yunqiushuiman的博客
04-09 1089
Fast-Ray变换：这是一种轻量级的、部署友好的视图变换，它将多视图2D图像特征沿着相机射线的体素投影到3D，从而快速获得BEV（鸟瞰图）表示。FAST BEV的优势在于其能够在保证高性能的同时，实现快速推理和方便部署。通过融合多帧图像的特征信息，该部分能够捕捉动态场景中物体的运动轨迹和状态变化，从而进一步提升BEV感知的准确性和实时性。通过一系列的处理步骤，如Fast-Ray变换、多尺度图像编码、高效BEV编码等，对输入的RGB图像进行特征提取、视图变换和编码，最终输出3D边界框和地图分割结果。
论文阅读——Fast-BEV: A Fast and Strong Bird’s-Eye ViewPerception Baseline
weixin_46779338的博客
02-11 1153
考虑到在构建感知系统时，摄像机位置及其内/外参数是固定的，并且该论文的方法不使用依赖数据的depth predicate和Transformer，因此对于每个输入，各个摄像头的投影指数都是相同的。如下图所示，是填充密集体素的鸟瞰图。我们的方案不像基于lift - splash - shoot的改进视图转换方案，其离散深度，然后估计深度，即使加上繁琐的CUDA并行计算，速度也不够快，更不用CPU来进行相应的计算过程，在GPU上的耗时可以忽略不计，在CPU上的速度远远领先于其他方案，部署非常方便。
开源Fast-BEV部署工程 | 5.9ms即可实现环视BEV 3D检测落地！
CV_Autobot的博客
08-23 1491
作者|AI视界引擎 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文精确的3D感知系统对于自动驾驶至关重要。经典方法依赖于激光雷达点云提供的精确3D信息。然而，激光雷达传感器通常花费数千美元，阻碍了其在经济型车辆上的应用。纯基于相机的鸟瞰图（BEV）方法最近因其令人印象深刻的3...
BEV感知算法 | FastBEV论文解读
DeepDriving
07-18 1085
FastBEV在M2BEV的基础上对视图变换方法做了一些优化，加入BEVDet4D中的时序融合方法，是一个高性能、推理速度快、部署友好的BEV感知算法。在读FastBEVBEV感知算法 | LSS论文与代码详解BEV感知算法 | BEVDet系列算法论文解读BEV感知算法 | M2BEV论文解读。
纯视觉的bev感知原理及其公式 IPM逆透视变换
06-12
纯视觉的bev感知是指通过单目或双目摄像头获取的图像信息，通过图像处理技术将其转换为鸟瞰图（birds-eye view, BEV）并进行目标检测和跟踪。这种方法相比于传统的使用激光雷达的方法，具有成本低、易于实现等优点。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值