51-21 LSS (Lift,Splat,Shoot) ，实现 BEV 感知的开山之作 论文精读

已于 2024-02-06 19:04:00 修改
阅读量1.3k 收藏 29
点赞数 23
分类专栏： aiXpilot 智驾大模型 文章标签： 人工智能 transformer 自动驾驶 智慧城市 目标跟踪 gpt-3 计算机视觉
于 2024-01-30 17:58:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45035094/article/details/135928863
版权
本文介绍了Nvidia的LSS论文，该论文是Bird's-Eye-View(BEV)感知的开创性工作。LSS通过Lift、Splat和Shoot三个模块，将2D图像转换为3D特征并构建BEV表示，解决了传统方法在自动驾驶中的局限性。论文展示了端到端的BEV表示学习方法，提高了对校准误差的鲁棒性，并在目标分割和地图分割等任务上表现出优越性能。
摘要由CSDN通过智能技术生成

这以后阅读的论文逐渐靠近自动驾驶实用领域，本文要讲的是Bird's-Eye-View，BEV开山之作，来自Nvidia的LSS论文。

LSS核心动机：2D-->3D，构建BEV空间。LSS核心结构首先是利用Lift模块进行深度分布学习，将二维图像特征生成3D特征，其次利用Splat模块做特征映射，把3D特征拍扁得到BEV特征图，最后利用Shoot模块在BEV特征图上进行相关任务操作。

论文和代码地址

论文名称：Lift, Splat, Shoot Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D

论文地址：https:/

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深圳季连AIgraphX
关注
专栏目录
订阅专栏
Lift, Splat, Shoot源码及权重
01-10
Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D源码及权重，给不会上网的人下载
LSS算法核心原理详细解读，一看就懂，不懂请打我！
cxkyxx的博客
06-17 2040
一看就懂！
BEV感知算法 | LSS论文与代码详解
DeepDriving
06-28 1334
最近几年，BEV感知是自动驾驶领域中一个非常热门研究方向，其核心思想是把多路传感器的数据转换到统一的BEV空间中去提取特征，实现目标检测、地图构建等任务。如何把多路相机的数据从二维的图像视角转换到三维的BEV视角？LSS提出一种显示估计深度信息的方法，实现图像特征到BEV特征的转换，从而实现语义分割任务。LSS是英伟达在ECCV2020上发表的文章《》中提出的一个BEV感知算法，后续很多BEV感知算法如CaDDNBEVDet都是在LSS的基础上实现的。本文将结合论文和代码详细解读LSS的原理。
BEV感知学习笔记——LSS
weixin_44368569的博客
01-11 2903
文章目录一、prologue二、Lift-Splat层原理2.1 Lift层2.2 Splat层三、LSS源码阅读3.1 准备工作3.2 推理部分3.1.1 参数配置3.1.2 compile_data()3.1.3 compile_model()3.1.3.1 get_geometry()3.1.3.2 get_cam_feats()3.1.3.3 voxel_pooling()3.3 训练部分 一、prologue 最近在学习BEV感知的内容，为了强化自己的学习效果，我会将自己的习得总结于此。（包含大量
【MLP-BEV(2)】LSS，2D-＞3D，Lift-Splat-Shoot:通过隐式反投影到3D空间实现对任意相机图像编码
Hali_Botebie的博客
11-11 1853
LSS从提出到现在已经经过了时间的验证，大量学者在其基础上进行了更进一步的研究，提出了各种花里胡哨的SOTA模型。总结来看，值得提及的有以下几点：优点：1.LSS的方法提供了一个很好的融合到BEV视角下的方法。基于此方法，无论是动态目标检测，还是静态的道路结构认知，甚至是红绿灯检测，前车转向灯检测等等信息，都可以使用此方法提取到BEV特征下进行输出，极大地提高了自动驾驶感知框架的集成度。2.虽然LSS提出的初衷是为了融合多视角相机的特征，为“纯视觉”模型而服务。
11-1 FCW/AEB 设计依赖的 E-NCAP 评测标准详细解析
AIgraphX
06-07 4383
E-NCAP 创始于1997年，英国交通研究实验室以及英国运输部发起，由欧洲七个政府组织组成，目前已经成为汽车界最具权威的安全认证机构。笔者认为未来可能增加的评测项目：1.更严格的碰撞测试：加入更为严格的碰撞测试，例如更高的碰撞速度和更复杂的碰撞场景等。2.电动汽车安全测试：电动汽车的电池安全是消费者购车关注的重点，E-NCAP 可能会加入更多电动汽车电池燃烧和泄漏的测试。3.虚拟场景和V2X 场景的支持，因自动驾驶的特殊情况，需要更多虚拟场景的仿真测试支持、V2X 参考场景支持。
19-12 ACC自适应巡航控制系统测试与验证
AIgraphX
10-09 2142
本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。 本节主要讲ACC系统整车测试与验证。
经典回顾！LSS (Lift, Splat, Shoot) 论文&源码万字长文解析
CV_Autobot的博客
12-06 5237
作者|Fangzh 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/589146284点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【多传感器融合】技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！论文研究背景LSS是一篇发表在ECCV 2020上有关自动驾驶感知方向的论文，具体...
全网独家LSS: Lift, Splat, Shoot（3）:代码复现
最新发布
07-30
LSS代码（加注释）
E-NCAP LSS 2023
06-30
**E-NCAP LSS 2023详解** E-NCAP（欧洲新车安全评鉴协会）是一项针对汽车安全性能进行独立评估的国际性组织，其目标是提高汽车的安全标准，保护乘客和行人的生命安全。LSS，全称为"Leading Safety Systems"，在2023...
Euro-NCAP LSS车道支持系统实施细则-中文.pdf
07-18
1. 文件标题《Euro-NCAP LSS车道支持系统实施细则-中文》表明，文件是欧洲新车评估项目（Euro-NCAP）关于车道支持系统（Lane Support System, LSS）操作细则的中文版本。Euro-NCAP是一个独立的汽车安全评估机构，...
lss-manager-v3:LSS经理
03-18
达人LSS-Manager V4发行说明，以及LSS-Manager V3报废。 LSS-Manager V3 geben wird功能。 Dringende Bugfixes werden aber weiterhindurchgeführt。 维基 林findest杜楚ALLES，DAS，模具与魏圣美的人eigene在书房...
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2991
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 2240
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
51-30 World Model | 自动驾驶的世界模型：综述
AIgraphX
03-14 2190
世界模型已经成为一种变革方法，使自动驾驶系统能够综合和解释大量传感器数据，从而预测潜在的未来情景并弥补信息缺口。本文涵盖了世界模型理论基础、实际应用以及以未来展望。
51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准
AIgraphX
06-11 2175
本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，同时引入端到端时空网络OCFNet，预测当前和未来4D占用。
51-31 CVPR’24 | VastGaussian，3D高斯大型场景重建
AIgraphX
03-16 1864
VastGaussian模型，实现了基于 3D Gaussians Spltting进行大型场景高保真重建和实时渲染。
51 -25 OccNet：Scene as Occupancy 场景作为占用
AIgraphX
02-06 1787
本文介绍了一种将物体表示为 3D Occupancy的新方法，以描述三维场景，并用于自动驾驶中检测、语义分割和规划任务。
51-15 视频理解串讲—TimeSformer (Is Space-Time Attention All You Need for Video Understanding) 论文精读
AIgraphX
01-24 1785
Facebook AI提出了一种称为TimeSformer视频理解的新架构，这个架构完全基于transformer，不使用卷积层。它通过分别对视频的时间和空间维度应用自注意力机制，能有效地捕捉动作的时空特征。
DMN3030LSS-13-VB：高性能N沟道SOP8封装MOS管
DMN3030LSS-13-VB是一种高性能的N沟道硅栅极增强型MOS场效应晶体管（MOSFET），它采用TrenchFET®技术，特别适合于高边同步整流器应用。这款器件具有以下关键特性： 1. 环保设计：DMN3030LSS-13-VB采用无卤素材料，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深圳季连AIgraphX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值