基于深度学习的SLAM概述

已于 2023-11-15 16:30:30 修改
阅读量4k 收藏 49
点赞数 3
文章标签： 深度学习 slam
于 2022-01-14 11:07:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxm__/article/details/122184966
版权

目的

本博客总结最近看的几篇关于深度学习的SLAM以及基于深度学习的稠密重建，简要对比记录特点

对比

年份名称类型框图前端输出地图方法特点回环
2023Point-SLAMRGBD-SLAM请添加图片描述渲染的RGB和深度loss来优化pose和点的神经描述子每帧pose和全局点云稠密地图全局点云稠密地图点云周围提取特征，MLP解码，渲染得到RGB和深度图像，loss优化位姿和点云神经描述子没有回环
2023DIM-SLAMmono-VSLAM请添加图片描述重投影patch损失+ RGB图像loss每帧的pose和最终的全局稠密地图全局稠密地图多分辨率特征网格+MLP解码器+ RGB损失+重投影多帧path的光流损失输入RGB图像，不需要深度图像，重建稠密地图没有回环
2023NICER-SLAMmono-SLAM在这里插入图片描述单目深度估计+单目法向量估计+光流估计每帧的pose和SDF提取的稠密点云或mesh全局SDF优化多分辨率分层网格+MLP解码+多项损失最小化单目获取稠密地图并输出位姿没有回环
2023Orbeez-SLAMmono-slam请添加图片描述VSLAM每帧的pose，稀疏点云地图，NERF获取的稠密点云地图前端ORBSLAM2估计位姿和稀疏点云地图， 后端NERF估计稠密MLP地图前端后端解耦合，前端传统SLAM算法回环可以依靠ORBSLAM2
2022DPVOmono-VO在这里插入图片描述VO每一帧的pose和paches转到3D坐标系下的3D点，稀疏点云稀疏3D点云拼接提取每张图的feature_map, 随机提取多个patch + 根据初始位姿投影到滑窗内的其余帧 + 网络迭代找到匹配点target + 每个patch投影到其余帧，和对应的匹配点target构成重投影误差，BA优化滑窗内帧的位姿和匹配点target的位置+ patch为二维块，其中心对应的逆深度，加上当前帧的pose，可以转为3D点云。patch匹配时考虑了局部特征和context特征，BA优化时候，也优化patch轨迹，即2D匹配点位置没有回环
2022GCVDmono-sfm在这里插入图片描述RAFT稠密光流， MASK-CNN剔除动态物体视频流的所有相机位姿和稠密深度图像没有建图RAFT稠密光流相邻帧的相对pose+MSCK-CNN语义剔除动态物体+MiDAS估计深度先验+光流视差筛选关键帧+深度特征聚合关键帧，并稠密光流计算相对pose+构建带权重的pose-graph+ 仅优化pose的BA + 网络固定pose, 优化关键帧和非关键帧的深度（代价方程：两帧之间的投影光度误差+光流一致性+地图一致性）全局一致性有
2022ParticleSfMmono-sfm在这里插入图片描述RAFT连续跟踪多帧sfm地图和相机pose全局sfm稠密特征点地图RAFT稠密光流连续跟踪+光流剔除动态物体+光流多帧构建track+ 全局sfm BA动态物体剔除，网络泛化好没有回环，类似滑窗光流SLAM
2021DROID-SLAMmono-VSLAM在这里插入图片描述全图像素点+稠密光流匹配输出每个关键帧的位姿和稠密深度图像全局场景稠密点云地图RAFT稠密光流+稠密BA+重投影误差GPU显存占用较大(前端实时需要8GGPU显存，后端由于需要存储所有图像的featuremap,因此，显存占用会很大，5000帧需要24GB)，位姿和全局地图精度高遍历全部关键帧构建帧图
2021NeuralReconmono-TSDF重建在这里插入图片描述分段TSDF重建+GRU融合位姿已知全局TSDF稠密网格没有全局优化，实时稠密单目重建，增量式重建认为位姿已知且准确
2021CodeMappingMapping在这里插入图片描述基于稀疏特征SLAM输出每个关键帧的位姿和稠密深度图像全局3D TSDF模型稀疏基于特征法得到的关键帧位姿，稀疏点云，稀疏点的平均重投影误差，VAE估计初始带有不确定度的稠密深度图像+多帧优化当前帧的稠密深度与稀疏SLAM（ORBSLAM3）并行，不直接优化深度像素点，优化一个深度code回环依靠稀疏SLAM保证，多帧优化时不优化关键帧位姿，仅优化深度code。
2021TANDEMMono-VSLAM在这里插入图片描述稠密直接法，采用TSDF中投影到当前帧的较稠密深度输出每个关键帧的位姿和稠密深度图像TSDF稠密建图稠密深度图像直接法前端+ 稀疏梯度点关键帧滑窗BA后端，类似DSO类似DSO没有回环和全局BA，实时VO位姿和多帧MVS融合的关键帧稠密深度图像
2020DeepFactorsMono-VSLAM在这里插入图片描述整张图像的LK光流，跟踪上一个关键帧输出每个关键帧的位姿和稠密深度图像全局场景稠密点云地图整张图像稠密LK光流前端跟踪+滑窗内因子图优化关键帧的pose和深度编码code（光度误差，重投影误差因子，稀疏几何因子）+BRISK描述子，词袋闭环检测深度编码重建的稠密深度不准确BRISK描述子回环，因子图增加边。
2021CodeVIOMono-VIO在这里插入图片描述稀疏点跟踪MSCKF-VIO输出每个关键帧的位姿和稠密深度图像局部场景稠密点云地图MSCKF-VIO + MSCKF优化深度编码(稀疏点云和灰度图像生成关键帧初始深度编码)局部点云，且点云不准，位姿精度依靠VIO精度没有回环
SLAM On the Road
关注
  • 3
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
【三维重建】结合深度学习的三维重建/SLAM（一）
格物致知
03-03 1万+
经典的计算机视觉问题是3-D重建。 基本上可以分成两种路径：一是多视角重建，二是运动重建。前者有一个经典的方法是多视角立体视觉（MVS，multiple view stereo），就是多帧的立体匹配，这样采用CNN模型来解决也合理。传统MVS的方法可以分成两种：区域增长（region growing）和深度融合（depth-fusion）。soccor on tabke 等效果惊艳，在现有的5G...
基于深度学习的视觉SLAM综述
跑得动就不要歇着
02-26 5524
下面来介绍一下深度学习的视觉SLAM综述，具体如下： 同时定位与地图构建（SLAM）是机器人搭载视觉、激光、里程计等传感器，对未知环境构建地图的同时实现自定位的过程，在机器人自主导航任务中起着关键作用。当前SLAM问题的研究手段主要是通过在机器人本体上安装多类型传感器来估计机器人本体运动信息和未知环境的特征信息，利用信息融合实现对机器人位姿的精确估计以及场景的空间建模。尽管SLAM采用的传感器有...
深度学习和SLAM
u010451780的专栏
05-08 2505
https://blog.csdn.net/u010821666/article/details/78749356 整理了部分近两年深度学习结合SLAM的一些研究成果（参考知乎帖子https://www.zhihu.com/question/66006923 和泡泡机器人公众号，附上论文链接和已找到的源代码/数据集链接，大多简单看了一下摘要。仅为自己学习所用，确实翻译得很烂………… 1. 深度学习跟SLAM的结合点 深度学习和slam的结合是近几年比较热的一个研究方向，具体的研究方向，我简单分为三块，如
深度学习下的视觉SLAM综述
一点人工一点智能的博客
04-23 1383
本综述涵盖了深度学习技术应用到SLAM领域的最新研究成果，重点介绍和总结了深度学习在前端跟踪、后端优化、语义建图和不确定性估计中的研究成果,展望了深度学习下视觉SLAM的发展趋势，为后继者了解与应用深度学习技术、研究移动机器人自主定位和建图问题的可行性方案提供助力。
探索未来视觉定位新境界：DXSLAM深度学习SLAM系统
最新发布
gitblog_00036的博客
05-24 255
探索未来视觉定位新境界：DXSLAM深度学习SLAM系统 项目地址:https://gitcode.com/ivipsourcecode/dxslam 项目介绍 DXSLAM是一个基于深度卷积神经网络（CNN）特征提取的视觉SLAM（Simultaneous Localization And Mapping）系统。灵感来源于ORB-SLAM2，它在实现稳健和高效的同时，引入了深度特征，从而提升了S...
基于深度学习的SLAM综述：迈向空间机器智能时代
3D视觉工坊
03-29 2944
作者丨刘本初@知乎来源丨https://zhuanlan.zhihu.com/p/478264550编辑丨3D视觉工坊看了牛津大学的一篇关于深度学习的定位与建图综述，照例先贴出来。《A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intel...
深度学习结合SLAM的研究思路/成果整理之（一）使用深度学习方法替换SLAM中的模块
热门推荐
自己的学习笔记
12-12 3万+
整理了部分近两年深度学习结合SLAM的一些研究成果（参考知乎帖子https://www.zhihu.com/question/66006923 和泡泡机器人公众号，附上论文链接和已找到的源代码/数据集链接，大多简单看了一下摘要。仅为自己学习所用，确实翻译得很烂…………1. 深度学习跟SLAM的结合点深度学习和slam的结合是近几年比较热的一个研究方向，具体的研究方向，我简单分为三块，如下。1.1 深
基于深度学习的视觉 SLAM 综述——赵洋 学习笔记
qin_liang的博客
09-08 1351
基于深度学习的视觉SLAM
基于深度学习的视觉SLAM综述_赵洋
weixin_44906423的博客
09-24 670
随读笔记 传统SLAM算法分为：帧间估计与后端优化两部分。 深度学习与帧间估计 无需特征提取、特征匹配和复杂的集合运算。 1.Konda 和 Memisevic提出基于端到端的深度神经网络 (1)提取图像序列深度和运动信息 利用乘性交互神经网络进行时序立体图像的同步检测，将立体图像序列之间的空间变换估计转换为同步检测，称为无监督同步/深度自动编码器(SAD-E)。 (2)图像序列速度与方向改变估计 将上一层SAD-E提取的运动和深度信息作为卷积神经网络层(CNN)输入，用以学习图像速度和方向改变。 2.Co
基于深度学习和传统视觉SLAM融合的单目视觉LSLAM1
08-03
在论文的第一部分，作者回顾了视觉SLAM和深度学习SLAM的最新进展，并概述了LSLAM算法的设计思路。第二部分详细解释了直接法和间接法的基本原理，以及它们存在的问题。第三部分介绍了深度卷积神经网络用于场景深度...
基于深度学习的视觉SLAM 综述
11-22
基于深度学习的视觉SLAM 综述 赵洋，刘国良，田国会，罗勇，王梓任，张威，李军伟 （山东大学控制科学与工程学院，山东济南250061） 摘要：综述了深度学习技术应用到同步定位与地图创建（SLAM）领域的最新研究进展，重点介绍和总结 了深度学习与帧间估计、闭环检测和语义SLAM 结合的突出研究成果，并对传统SLAM 算法与基于深度学习的 SLAM 算法做了深入的对比研究．最后，展望了未来基于深度学习的SLAM 研究发展方向． 关键词：深度学习；视觉SLAM；帧间估计；视觉里程计；闭环检测；语义SLAM 中图分类号：TP24 文献标识码：A 文章编号：1002-0446(2017)-06-0889-08
基于RGB-D相机的SLAM技术研究综述.pdf
05-05
5. 视觉SLAM技术的发展趋势是朝着深度学习和多模态融合方向发展的，通过融合多种传感器和算法来提高视觉SLAM的鲁棒性和精度。 本文对基于RGB-D相机的SLAM技术进行了系统性的分析讨论，旨在为机器人和计算机视觉领域...
视觉SLAM的研究现状与展望
04-30
针对自主定位与环境构建问题，基于...之后按照有监督学习与无监督学习两种方式介绍深度学习在视觉SLAM中的研究进展，并对算法进行了归纳总结；此外分析了视觉SLAM和惯性导航的融合；最后展望了视觉SLAM的未来发展趋势。
基于RGB-D相机的SLAM技术研究综述
03-31
对当前主流的SLAM技术发展历程及研究现状进行概述。重点围绕RGB-D SLAM研究展开讨论，包括：对各类视觉传感器进行性能分析和对比；对当前具有代表性的几类RGB-D SLAM系统的原理、方法和技术性能进行详细的分析；对...
SLAM-单目3D物体检测+SLAM算法实现-优质项目-附完整流程教程.zip
02-11
1. **SLAM概述**：SLAM的核心目标是解决在未知环境中，机器人如何通过传感器数据来同时估计自身运动轨迹和环境地图。SLAM算法通常包括前端（特征提取、匹配和状态估计）和后端（优化和地图更新）两个主要部分。 2. ...
深度学习在slam的应用Deep Learning Applications in SLAM
qq_40165706的博客
09-05 2087
摘要同时定位与映射（SLAM）是近年来智能机器人领域的研究热点。其处理对象是视觉图像。深度学习在计算机视觉领域取得了巨大成功，这使得深度学习与slam技术的结合成为一个可行的方案。本文总结了深度学习在SLAM技术中的一些应用，并介绍了其最新研究成果。比较了基于深度学习的SLAM技术与传统SLAM技术的优缺点。最后，展望了SLAM+深度学习技术的未来发展方向。1.介绍SLAM是一个过程，其中机器人配备了视觉、激光、里程表和其他传感器，在未知环境中构建地图时实现自我定位。它在机器人自主导航任务中起着关键作用[1
SLAM常用的深度学习算法举例
kxg916361108的博客
03-05 577
SLAM系统的目标是使机器能够在不依赖外部定位系统的情况下，在未知或部分未知的环境中自主地定位自己，并同时构建出这个环境的地图。请注意，深度学习并不总是SLAM的全部，传统的几何和优化方法在SLAM系统中仍然具有重要地位。SLAM的实现涉及复杂的数学和计算机视觉算法，以确保准确的定位和地图构建。：CRNN结合了CNN和RNN的优势，常用于时序数据和图像数据的联合处理，有助于提高SLAM系统对复杂环境的感知能力。SLAM领域中，深度学习算法逐渐得到应用，尤其是在感知和地图构建的任务中。
深度学习 视觉slam研究方向
11-04
深度学习视觉SLAM是一种将深度学习和视觉SLAM相结合的研究方向。视觉SLAM（Simultaneous Localization and Mapping）是一种利用相机或其他传感器来实时构建环境地图并同时定位自身位置的技术。而深度学习是一种机器学习的方法，通过构建和训练深度神经网络模型来解决复杂的视觉和语言处理问题。 深度学习在视觉SLAM中的应用主要有以下几个方面。 首先，深度学习可以用于特征提取和描述子学习。传统的SLAM方法通常依赖于手工设计的特征来进行地图构建和定位，但是手工设计的特征容易受到环境变化的影响，而深度学习可以通过大规模数据的训练来学习具有不变性和鲁棒性的特征表示，从而提高SLAM系统的鲁棒性和稳定性。 其次，深度学习可以用于位姿估计和地图优化。传统的SLAM方法通常使用基于滤波器或图优化的方法来估计相机的位姿，并利用位姿估计结果来进行地图的更新和优化。而深度学习可以通过训练神经网络模型来预测相机的位姿，从而提高位姿估计的准确性和实时性。 此外，深度学习还可以用于SLAM系统的场景理解和物体识别。传统的SLAM方法通常只对环境进行地图构建和定位，而深度学习可以通过训练神经网络模型来实现对场景中物体的检测和识别，从而实现对环境的更加深入的理解。 总之，深度学习视觉SLAM是一项将深度学习与传统视觉SLAM相结合的研究方向，可以通过利用深度学习的强大能力来提高SLAM系统的鲁棒性、稳定性、准确性和实时性，并实现对环境的更加深入的理解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值