当SLAM遇上3DGS！基于3D高斯的全新SLAM算法

最新推荐文章于 2024-09-26 10:50:57 发布
最新推荐文章于 2024-09-26 10:50:57 发布
阅读量424 收藏 3
点赞数
分类专栏： 3D视觉从入门到精通 文章标签： 3d 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46788581/article/details/139423201
版权
本文探讨了SLAM技术，特别是NeRF-Based SLAM和Gaussian-Based SLAM。NeRF方法在三维重建上取得显著成果，但存在效率问题。Gaussian-Based SLAM则解决了这些问题，提供快速渲染、明确空间范围的建图和显式地图编辑能力，适合资源有限的机器人系统。课程旨在教授NeRF/Gaussian SLAM原理和实现。
摘要由CSDN通过智能技术生成

什么是SLAM？

SLAM，即同时定位与地图构建技术，SLAM可以让机器人、无人机和其他自动化系统能够在未知环境中同时进行自我定位和环境映射。

图片

为什么是NeRF-Based SLAM？

图片

传统CG将输入图像重新投影再融合到新的视图摄像机中，利用几何结构来进行重投影。在很多情况下，传统CG方法重建地图都能有相当好的效果，但是对于地图上的未知区域，进行三维重建恢复就有些困难了。

深度学习很早就在应用在重建方面。Volumetric 表达由Soft3D提出，随后与Volumetric ray-marching 相结合的深度学习技术出现，这是一种基于连续可微密度场的Geometry（几何）表示方法。

神经辐射场引入了Importance Sampling（重要性采样）和Positional

了解本专栏 订阅专栏 解锁全文 超级会员免费看
计算机视觉工坊
关注
专栏目录
订阅专栏
浙大最新 | 速度提高一倍，内存占用减半：基于3DGS的实时大规模3D重建
计算机视觉工坊
05-04 370
本文介绍了一种名为RTG-SLAM的实时3D重建系统，该系统使用高斯溅射和RGBD相机进行大规模环境重建。主要贡献包括紧凑的高斯表示方法，使用不透明和透明的高斯分布拟合表面和颜色，从而减少高斯分布数量；高效的在线高斯优化策略，只优化不稳定高斯分布并渲染其占据的像素；在各种大规模真实场景上进行了实时重建，并取得了优于现有方法的性能，包括速度、内存占用、新视角合成和相机跟踪精度。本文仅做学术分享，如有侵权，请联系删文。
训练缩短95％！Event3DGS让你的3DGS全面提速！
计算机视觉工坊
06-07 310
最近出现的3D高斯散射（3DGS）利用了显式基于点的表示的优势，显著提高了新视图合成的渲染速度和质量。然而，在高动态运动或挑战性照明条件下的3D辐射场渲染在现实世界的机器人任务中仍然存在问题。原因是快速自运动在现实世界的机器人任务中普遍存在，这会引起运动模糊，导致重建结构中的不准确性和伪影。为了缓解这个问题，我们提出了Event3DGS，这是第一种仅从原始事件流中学习高斯散射的方法。通过利用事件相机的高时序分辨率和显式基于点的表示，Event3DGS可以仅从事件流中在快速自运动下重建高保真度的3D结构。
GS-SLAM论文阅读笔记--MM3DGS SLAM
最新发布
qq_45795134的博客
09-26 943
虽然SLAM方法使用稀疏点云来表示操作环境，可以获得最先进的跟踪精度，但由于稀疏性，生成的地图是不相交的，在视觉上不如较新的3D重建方法。虽然视觉质量与导航的唯一目的无关，但创建逼真的地图对于人类消费，语义分割和后期处理是有价值的。3DGS的前置操作是高斯的深度初始化。大多数方法使用来自相对昂贵的传感器(如激光雷达)的深度输入，这些传感器可能不容易在消费者手机等设备上获得。其他方法使用RGB-D相机通过立体深度估计提供深度信息。
基于NeRF/Gaussian的全新SLAM算法
3D视觉工坊
01-21 194
什么是SLAM？SLAM，即同时定位与地图构建技术，SLAM可以让机器人、无人机和其他自动化系统能够在未知环境中同时进行自我定位和环境映射。为什么是NeRF-Based SLAM？传统CG将输入图像重新投影再融合到新的视图摄像机中，利用几何结构来进行重投影。在很多情况下，传统CG方法重建地图都能有相当好的效果，但是对于地图上的未知区域，进行三维重建恢复就有些困难了。深度学习很早就在应用在重建方面。...
工程（十三）——基于激光视觉的SLAM三维重建
HUASHUDEYANJING的博客
11-07 1853
目前的主流三维重建算法包括：基于网络的纯视觉三维重建、基于SLAM算法的三维重建基于激光视觉SLAM（Simultaneous Localization and Mapping）的三维重建在多个方面具有许多优势，这些优势使其在许多领域如机器人导航、自动驾驶、建筑测绘、室内导航和虚拟现实等应用中受到广泛关注。以下是一些主要的优势：高精度：激光传感器能够提供高精度的深度信息，使得三维地图的重建精度很高。这对于需要精确定位和建立精确地图的应用非常重要，如自动驾驶车辆和机器人导航。
解锁SLAM新纪元！基于NeRF和3D GS方法综述
CV_Autobot的博客
02-29 1449
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心『SLAM』技术交流群论文作者|3D视觉之心编辑 | 自动驾驶之心写在前面&笔者的个人理解在过去的二十年里，SLAM领域的研究经历了重大的发展，突出了其在实现未知环境的自主探索方面的关键作用。这种演变从手工制作的方法到深度学习时代，再到最近专注于神经辐射场（NeRFs）和3D高斯泼溅...
Paper Survey——3DGS-SLAM
gwpscut的博客
05-30 1186
最近对一系列基于3D Gaussian Splatting（3DGS）SLAM的工作的源码进行了测试与解读。为此写下本博客mark一下所有的源码解读以及对应的代码配置与测试记录~其中工作1~5的原理解读见博客：学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研_3d gaussian splatting slam-CSDN博客。但由于其相关工作太多了，为此，用本博文记录下对这些工作的调研（以PPT图片的形式）。
稠密语义SLAM最新工作！SGS-SLAM打造最精确的3D语义地图！
3D视觉工坊
03-07 351
语义理解在稠密同时定位与地图构建（SLAM）中发挥着至关重要的作用，有助于全面解释场景。将高斯飞溅技术整合到SLAM系统中的最新进展已经证明了它通过使用明确的3D高斯表示生成高质量渲染的有效性。在此进展基础上，我们提出了SGS-SLAM，这是第一个基于3D高斯的语义密集视觉SLAM系统，它在提供精确的3D语义分割的同时，还能产生高保真的重建。具体而言，我们建议在建图过程中采用多通道优化，将外观、几何和语义约束与关键帧优化相结合，以提高重建质量。
【nice-slam】Gaussian Splatting SLAM——基于RGB-D类型SLAM的定位与重建（3D-GS）（史上最详细nice-slam资料汇总）
格物致知
12-20 1508
NICE-SLAM一种结合了神经隐式表示和分层场景表示的密集RGB-D SLAM系统。该方法在保持神经隐式表示的表示能力的同时，通过引入分层场景表示来实现可扩展性和效率。具体来说，场景的几何和颜色信息由四个特征网格及其相应的解码器联合编码，这些网格在不同的空间分辨率上进行优化。在测试时，通过最小化重新渲染的损失，只优化当前视锥体内的特征，从而实现高效的局部更新。并在多个具有挑战性的数据集上进行了方法评估，结果表明NICE-SLAM在重建效果好和跟踪质量高。图2。
最新！首个基于3D Gaussian Splatting从运动模糊图像重建清晰3D场景
计算机视觉工坊
04-21 417
本文提出了一种名为DeblurGS的方法，用于从相机运动模糊图像中恢复清晰的3D场景。该方法利用3D高斯溅射模拟相机运动，并通过优化过程实现模糊图像与合成图像的匹配，从而实现相机运动轨迹和3D场景的联合优化。为了处理初始相机位姿不准确的问题，提出了高斯密度正则化退火策略。实验结果显示，该方法在去模糊和3D场景重建方面达到了最先进的效果，同时适用于实际模糊视频场景。本文仅做学术分享，如有侵权，请联系删文。在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《
【3D-GS】Gaussian Splatting SLAM——基于3D Gaussian Splatting的全网最详细的解析
格物致知
03-30 3467
fx1σ2πe−x−μ22σ2fxσ2π​1​e−2σ2x−μ2​其中：μ 是正态分布的 均值，代表数据中心的位置。σ 是正态分布的 标准差，代表数据离散程度。对于一段x区间,进行积分可以得到分布中的数据落在这一-区间的概率,其中绝大多数落在3sigma区域(概率是0.9974)。因此,一组mumumu和sigma/sigmasigma。
学习笔记之——3DGS-SLAM系列代码解读
gwpscut的博客
04-11 4608
最近对一系列基于3D Gaussian Splatting（3DGS）SLAM的工作的源码进行了测试与解读。为此写下本博客mark一下所有的源码解读以及对应的代码配置与测试记录~其中工作1~5的原理解读见博客：学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研_3d gaussian splatting slam-CSDN博客。
NGM-SLAM：首创融合神经辐射场子图的3DGS-SLAM，问鼎SOTA！
soaring_casia的专栏
05-15 932
这无疑将开启一股融合NeRF与3DGS技术的SLAM系统研究新浪潮。
3D高斯详解forward.cu
chuangkeiss的博客
08-25 1207
然而高斯球的点三维位置可以直接变换，但它的协方差矩阵的变换我们希望是线性的。2）投影变换，从相机到射线空间的转换，是我们技术的关键元素。然而，一般来说，误差不会导致视觉伪影，因为与重建核的局部支持相交的射线扇形具有小的开口角度。摄像机空间的定义是，摄像机坐标系的原点位于投影中心，投影平面为 u=1的平面。此时3D高斯在NDC坐标内，也就是大小为1的方格中，我们要根据图片的H*W进行放大，此时协方差是不变的。以下是c调用和函数，第一个是块block的数量，第二个是block中线程的数量。
学习笔记之——3D Gaussian SLAM，SplaTAM配置（Linux）与源码解读
gwpscut的博客
01-18 1万+
SplaTAM全称是《SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM》，是第一个（也是目前唯一一个）开源的用3D Gaussian Splatting（3DGS）来做SLAM的工作。在下面博客中，已经对3DGS进行了调研与学习。其中也包含了SplaTAM算法的基本介绍。学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研-CSDN博客。
学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研
热门推荐
gwpscut的博客
01-09 1万+
论文主页3D Gaussian Splatting是最近NeRF方面的突破性工作，它的特点在于重建质量高的情况下还能接入传统光栅化，优化速度也快（能够在较少的训练时间，实现SOTA级别的NeRF的实时渲染效果，且可以以 1080p 分辨率进行高质量的实时（≥ 30 fps）新视图合成）。开山之作就是论文“3D Gaussian Splatting for Real-Time Radiance Field Rendering”是2023年SIGGRAPH最佳论文。
如何发一篇顶会论文？ 涉及3D高斯，slam，自动驾驶，三维点云等等
2301_81515836的博客
07-18 841
1）基于图像或点云的 3D Object Detection、Semantic Segmentation、Occupancy Prediction（面向自动驾驶的感知任务，单模态和融合）1）SLAM/3DGS/三维点云/医疗图像/扩散模型/结构光/Transformer/CNN/Mamba/位姿估计 顶会论文指导。1）挑战场景下2D-2D，2D-3D或3D-3D配准问题。3）复杂天气条件下的单目深度估计系统研究。5）基于大模型的单目深度估计系统研究。2）多帧融合的单目深度估计系统研究。
GS SLAM最新SOTA！MG-SLAM：使用结构化线特征提升高斯SLAM
计算机视觉工坊
06-08 894
点击下方卡片，关注「计算机视觉工坊」公众号选择星标，干货第一时间送达作者：Shuhong Liu |编辑：计算机视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉从入门到精通知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程(星球成员免费学习)、最新顶会论文、优质计算机视觉书籍文档、优质3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值