【BEV perception】LSS:Lift,Splat,Shoot(3) ---- 核心代码解读

已于 2024-09-11 16:38:37 修改
阅读量456 收藏
点赞数 18
分类专栏： BEV感知 文章标签： 自动驾驶
于 2024-07-27 03:32:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51579041/article/details/140728086
版权

在这里插入图片描述

在这里插入图片描述

如果只看论文，估计很多人看完论文后还是一头雾水，根本不知道LSS到底是怎么实现的。接下来我们就结合代码对LSS的每个步骤进行详细解析。

LSS模型被封装在src/model.py文件中的LiftSplatShoot类中，模型用Nuscense数据集进行训练，每次输入车身环视6个相机的图像。Nuscense数据集中的原始图像宽高为1600x900，在预处理的时候被缩放到352x128的大小，6个相机的图像经过预处理后组成一个维度为(B=1,N=6,C=3,H=128,W=352)的张量输入给LSS模型。前向推理时，LiftSplatShoot类的forward函数需要输入以下几个参数：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BILLY BILLY
关注
专栏目录
订阅专栏
Lift, Splat, Shoot代码部分
qq_44569247的博客
05-23 472
代码整体结构总体思路是，对采集到的环视图像进行特征提取，并根据估计出来的离散深度信息，实现图像特征向BEV特征的转换。
Lift-Splat-Shoot源码学习
WhynotLike2021的博客
07-21 422
得到最后的BEV体素输出，然后将其作为bevencode的输入（感觉这里的bevencode其实就是解码器，因为它的。
【LSS: Lift, Splat, Shoot】代码的复现与详细解读
zyw2002的博客
12-15 9581
基于ubuntu复现Lift,Splat,Shoot代码，并对代码进行详细的解读和注释
BEV感知：BEV开山之作LSS（lift,splat,shoot）原理代码串讲
Hanze的博客
02-16 5186
目前在自动驾驶领域，比较火的一类研究方向是基于采集到的环视图像信息，去构建BEV视角下的特征完成自动驾驶感知的相关任务。所以如何准确的完成从相机视角向BEV视角下的转变就变得由为重要。显式估计图像的深度信息，完成BEV视角的构建，在某些文章中也被称为自下而上的构建方式；利用transformer中的query查询机制，利用BEV Query构建BEV特征，这一过程也被称为自上而下的构建方式；LSS最大的贡献在于：提供了一个端到端的训练方法，解决了多个传感器融合的问题。
lift-splat-shoot（LSS）代码详解
weixin_46214675的博客
09-28 1212
【代码】lift-splat-shoot（LSS）代码详解。
【BEV perception】LSS:Lift,Splat,Shoot(4) ---- dataloader代码解读
m0_51579041的博客
07-26 227
LSS模型 dataloader代码阅读
【BEV感知 EA-LSS 方案】Edge-aware Lift-splat-shot
黎国溥
12-11 547
本文分享LSS方案的改进方案——EA-LSS，它解决了“深度跳变”问题，提出了一个新框架Edge-aware Lift-splat-shot。适用于“多视图转BEV”，可以代替原来的LSS模块，并有效地提高了检测精度，而推理时间的增加很少。在nuScenes测试集上验证，纯相机模型或多模态模型，EA-LSS都是有效的，并达到了Top1排名（截至本文时间2023-12）。
全网独家LSS: Lift, Splat, Shoot（3）:代码复现
07-30
LSS代码（加注释）
【BEV perception】LSS:Lift, Splat, Shoot(2) ---- 工程复现（附完整中文注释代码）
m0_51579041的博客
07-28 117
LSS模型复现
自动驾驶-BEV检测篇一：Lift-Splat-Shoot
weixin_50206562的博客
05-21 1235
Lift Splat Shoot算法是自动驾驶感知算法的开山之作，由NVIDIA于2020年提出，也是从2D到3D正投影算法的开山之作。其主要思想是通过车顶的6个环状相机进行360°视野感知，通过每个相机的图像特征进行深度估计D,构建出一个空间的伪点云（不是真实的点云，其本质是一个视锥），也就是lift操作；之后再通过Splat操作，将3D的特征拍扁到一个200 X 200的一个二维俯视特征图中（也就是熟知的BEV特征），之后再通过常用的一些二维图像的处理方法（卷积、池化等）对BEV特征进行图像特征提取。
Lift-Splat-Shoot算法理解及代码中文注释
qq_37497304的博客
09-09 5799
对算法Lift-Splat-Shoot的理解以及源代码中文注释
Lift-Splat-Shoot：论文、代码解析
weixin_45112559的博客
10-06 2002
Lift-Splat-Shoot：论文、代码解析
Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D
JudgeGong
06-11 2842
最近两年自动驾驶领域有很多在bev视角下做3D检测的工作，纯视觉的bev下检测一个难点就是深度信息的缺失，本篇论文中提供了可选的离散深度值，让2D像素寻找在3D世界中最合理的位置，取得了不错的效果。......
Paper——基于Ubuntu18.04跑通Lift, Splat, Shoot
Irving.Gao的博客
03-30 3908
文章目录环境配置Python依赖数据集下载1. Full dataset2. Map运行EvalVisualize 项目地址：https://github.com/nv-tlabs/lift-splat-shoot 数据集下载地址：https://www.nuscenes.org/download 环境配置 Python依赖 conda create -n bev python=3.7 conda activate bev 安装torch： pip install torch==1.9.0+cu1
自动驾驶汽车横向控制方法研究综述
weixin_45905610的博客
09-30 808
为实现精确、稳定的横向控制，提高车辆自主行驶的安全性和保障乘坐舒适性，综述了近年来自动驾驶汽车横向控制方法的最新进展，包括经典控制方法和基于深度学习的方法，讨论了各类方法的性能特点及在应用中的优缺点，并针对自动驾驶汽车横向控制方法的发展趋势进行了展望。
【笔记】自动驾驶预测与决策规划_Part4_时空联合规划
qq_39764867的博客
09-24 1193
1. 时空联合规划的基本概念2.基于搜索的时空联合规划 （Hybrid A* ）3.基于迭代计算的规划方法4.基于时空走廊的时空联合规划方法
自动驾驶系列—深度剖析自动驾驶芯片SoC架构：选型指南与应用实战
最新发布
u013889591的专栏
10-01 1413
随着自动驾驶技术的飞速发展，芯片系统级架构（SoC）成为了整个系统的核心基础。一个高性能的SoC可以提供强大的计算能力，支持复杂的深度学习算法和实时传感器数据处理。然而，面对市场上众多的芯片选择，如何找到适合自动驾驶应用场景的SoC架构是一个关键问题。本文将从SoC的架构详解、功能原理、选型指南以及应用场景等方面为您全面剖析，助力您更好地了解并选择合适的自动驾驶芯片。不同的SoC架构在自动驾驶领域各有其优势和局限。
捷豹I-PACE：电动未来，性能艺术
作为一款纯电动汽车（BEV），I-PACE在设计上不受传统燃油动力系统的限制，提供了更宽敞的内部空间和更加动感的外观造型。 在设计方面，I-PACE的外观线条流畅，具有明显的捷豹家族特征，同时融入了电动车型的独特...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BILLY BILLY

你的奖励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值