Lift, Splat, Shoot图像BEV安装与模型代码详解

已于 2023-12-12 07:33:38 修改
阅读量374 收藏 2
点赞数 2
分类专栏： 3D感知论文分析与代码实战 文章标签： python 深度学习 图像处理 自动驾驶 人工智能
于 2023-10-15 12:14:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41366026/article/details/133840315
版权
左侧6帧图像为不同的相机帧，右侧为BEV视角下的分割与路径规划结果

由于本人才疏学浅，解析中难免会出现不足之处，欢迎指正、讨论，有好的建议或意见都可以在评论区留言。谢谢大家！

专栏地址：https://blog.csdn.net/qq_41366026/category_11640689.html?spm=1001.2014.3001.5482

1 前言

计算机视觉算法通常使用图像是作为输入并输出预测的结果，但是对结果所在的坐标系却并不关心，例如图像分类、图像分割、图像检测等任务中，输出的结果均在原始的图像坐标系中。因此这种范式不能很好的与自动驾驶契合。

在自动驾驶中，多个相机传感器的数据一起作为输入，这样每帧图像均在自己的坐标系中；但是感知算法最终需要在车辆自身坐标系（ego coordinate）中输出最终的预测结果；并提供给下游的规划任务。

当前也有很多简单、使用的方法用于扩展单帧图像到多视角图像的方法。简单实用的有来自所有相机的每一帧图像

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NNNNNathan
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
【BEV感知 LSS方案】Lift-Splat-Shoot 论文精读与代码实现
黎国溥
12-01 485
LSS全称是Lift-Splat-Shoot，它先从车辆周围的多个摄像头拍摄到的图像进行特征提取，在特征图中估计出每个点的深度然后把这些点“提升”到3D空间中。接着，这些3D信息被放置到一个网格上最后将这些信息“拍扁”到一个平面视图上，形成BEV特征图。Lift，是提升的意思，2D → 3D特征转换模块，将二维图像特征生成3D特征，涉及到深度估计。Splat，是展开的意思，3D → BEV特征编码模块，把3D特征“拍扁”得到BEV特征图。Shooting，是指在BEV特征图上进行相关任务操作。
BEV(1)---lift splat shoot
weixin_42454048的博客
04-16 1352
如图，已知世界坐标系上的某点P（X， Y， Z）经过相机的内参矩阵可以获得唯一的图像坐标p（x， y），但是反过来已知图像上某点p（x， y），无法获得唯一的世界坐标（只能知道P在Op这一射线上），只有当深度坐标Z已知时，我们才可求得唯一的世界坐标P，因此2D坐标往3D坐标的转换多围绕Z的获取展开。
[BEV] 学习笔记之Lift, Splat, Shoot
Rex大居
01-02 1590
LSS,BEV
LSS-lift splat shoot论文与代码解读
weixin_41803339的博客
10-02 5370
LSS BEV
Lift-Splat-Shoot算法理解及代码中文注释
qq_37497304的博客
09-09 5561
对算法Lift-Splat-Shoot的理解以及源代码中文注释
LSS (Lift, Splat, Shoot)代码解析
pytorch内部机制解读
05-07 992
LSS是一篇发表在ECCV 2020上有关自动驾驶感知方向的论文，具体子任务为object segmentation and map segmentation。论文和官方repo如下：论文：https://link.zhihu.com/?官方repo：https://link.zhihu.com/?目前在自动驾驶领域，比较火的一类研究方向是基于采集到的环视图像信息，去构建BEV视角下的特征完成自动驾驶感知的相关任务。所以如何准确的完成从相机视角向BEV视角下的转变就变得由为重要。
自动驾驶-BEV检测篇一：Lift-Splat-Shoot
weixin_50206562的博客
05-21 1012
Lift Splat Shoot算法是自动驾驶感知算法的开山之作，由NVIDIA于2020年提出，也是从2D到3D正投影算法的开山之作。其主要思想是通过车顶的6个环状相机进行360°视野感知，通过每个相机的图像特征进行深度估计D,构建出一个空间的伪点云（不是真实的点云，其本质是一个视锥），也就是lift操作；之后再通过Splat操作，将3D的特征拍扁到一个200 X 200的一个二维俯视特征图中（也就是熟知的BEV特征），之后再通过常用的一些二维图像的处理方法（卷积、池化等）对BEV特征进行图像特征提取。
Lift_splat_shoot代码解读
qq_42008628的博客
06-14 191
size为（B*N，D，H，W，3）
LSS 讲解(1)：论文及代码介绍
@bangbang的博客
02-27 1734
1、LSS的方法提供了一个很好的融合到BEV视角下的方法。基于此方法，无论是动态目标检测，还是静态的道路结构认知，甚至是红绿灯检测，前车转向灯检测等等信息，都可以使用此方法提取到BEV特征下进行输出，极大地提高了自动驾驶感知框架的集成度。2、虽然LSS提出的初衷是为了融合多视角相机的特征，为“纯视觉”模型而服务。但是在实际应用中，此套方法完全兼容其他传感器的特征融合。如果你想融合超声波雷达特征也不是不可以试试。1、极度依赖Depth信息的准确性，且必须显示地提供Depth 特征。
Lift, Splat, Shoot源码及权重
01-10
Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D源码及权重，给不会上网的人下载
lift53.zip_53提升小波_53提升小波C_lift53_图像小波变换_提升小波
09-21
《53提升小波：深入理解与应用》 在计算机科学和图像处理领域，小波分析是一种强大的数学工具，尤其在信号和图像处理中扮演着重要角色。本文将重点探讨53提升小波（Lifting Scheme）的概念、原理以及其在图像小波...
Android代码-Lift应用拼音搜索
08-06
ShowMyRecentApps This is an app to quickly, conviniently start apps for Android. It sorts the apps by used times, so that you can find the most frequently used app easily. It should also support ...
matlab_lift.rar_MATLAB 电梯_MATLAB电梯_电梯_电梯仿真_电梯模型
07-14
MATLAB（矩阵实验室）是MathWorks公司开发的一款强大的数学计算软件，它提供了丰富的工具和函数库，支持多种领域的计算，包括数值分析、符号计算、数据可视化、图像处理以及控制系统设计等。 在这个"matlab_lift....
lift_30_samples:Lift 3.0示例代码
05-17
与传统的Java Web框架相比，Lift利用Scala的静态类型和函数式编程特性，提供了更高效、更易于维护的解决方案。Lift 3.0的发布，旨在提升性能、简化API并提供更好的开发者体验。 二、Lift 3.0的关键特性 1. **响应...
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
qq_64603703的博客
07-27 729
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 1009
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 585
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Chapter 18 Python异常
最新发布
2302_80253507的博客
07-28 814
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
写一个代码，使用LIFT算法进行图像匹配，用CNN网络
06-06
这里是一个使用LIFT算法进行图像匹配的代码，其中使用了CNN网络： ``` import torch import torch.nn as nn import torch.optim as optim import numpy as np import cv2 import matplotlib.pyplot as plt from torchvision import transforms from PIL import Image from lift import LIFT # 定义CNN网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2) self.pool = nn.MaxPool2d(kernel_size=2, stride=2) self.conv2 = nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2) self.fc1 = nn.Linear(32 * 28 * 28, 1000) self.fc2 = nn.Linear(1000, 2) def forward(self, x): x = self.pool(torch.relu(self.conv1(x))) x = self.pool(torch.relu(self.conv2(x))) x = x.view(-1, 32 * 28 * 28) x = torch.relu(self.fc1(x)) x = self.fc2(x) return x # 加载图像 img1 = cv2.imread('image1.jpg', 0) img2 = cv2.imread('image2.jpg', 0) # 初始化LIFT算法 detector = LIFT() # 提取特征 kp1, des1 = detector.detectAndCompute(img1, None) kp2, des2 = detector.detectAndCompute(img2, None) # 初始化CNN网络 net = Net() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(net.parameters(), lr=0.001) # 将特征转换为张量 des1_tensor = torch.tensor(des1).float() des2_tensor = torch.tensor(des2).float() # 将图像转换为PIL格式 img1_pil = Image.fromarray(img1) img2_pil = Image.fromarray(img2) # 图像预处理 transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) img1_tensor = transform(img1_pil).unsqueeze(0) img2_tensor = transform(img2_pil).unsqueeze(0) # 训练CNN网络 for epoch in range(100): optimizer.zero_grad() output1 = net(des1_tensor) output2 = net(des2_tensor) loss = criterion(output1, output2) loss.backward() optimizer.step() print("Epoch: {}, Loss: {}".format(epoch, loss.item())) # 将特征嵌入到空间中 des1_embedded = net(des1_tensor).detach().numpy() des2_embedded = net(des2_tensor).detach().numpy() # 计算匹配矩阵 match_matrix = np.dot(des1_embedded, des2_embedded.T) # 对匹配矩阵进行归一化 norms1 = np.linalg.norm(des1_embedded, axis=1) norms2 = np.linalg.norm(des2_embedded, axis=1) normalized_match_matrix = match_matrix / np.outer(norms1, norms2) # 求取最佳匹配对 max_indices = np.argmax(normalized_match_matrix, axis=1) matches = [] for i, idx in enumerate(max_indices): matches.append(cv2.DMatch(i, idx, 0)) # 绘制匹配图像 img_matches = cv2.drawMatches(img1, kp1, img2, kp2, matches, None) plt.imshow(img_matches) plt.show() ``` 需要注意的是，这里的`lift`和`cv2`是需要提前安装的Python库，且该代码仅为演示用途，不一定能够完美匹配所有图像。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NNNNNathan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值