(汇总篇)语义SLAM相关开源方案| 全球优秀作者与实验室 | SLAM学习资料整理

目录


以下内容收集也不完整,无法涵盖视觉 SLAM 的所有研究,也欢迎大家有好的方案欢迎留言或者私信。

1 开源方案

1.1 Geometric SLAM (26项)

这一类是传统的基于特征点、直接法或半直接法的几何 SLAM。

1. PTAM
2. S-PTAM(双目 PTAM)
3. MonoSLAM
4. ORB-SLAM2

以下5, 6, 7, 8几项是 TUM 计算机视觉组全家桶,官方主页:https://vision.in.tum.de/research/vslam/dso

5. DSO
6. LDSO
7. LSD-SLAM
8. DVO-SLAM
9. SVO
10. DSM
  • 论文:Zubizarreta J, Aguinaga I, Montiel J M M. Direct sparse mapping[J]. arXiv preprint arXiv:1904.06577, 2019.
  • 代码:https://github.com/jzubizarreta/dsm ;Video
11. openvslam
12. se2lam(地面车辆位姿估计的视觉里程计)
13. GraphSfM(基于图的并行大规模 SFM)
14. LCSD_SLAM(松耦合的半直接法单目 SLAM)
15. RESLAM(基于边的 SLAM)
16. scale_optimization(将单目 DSO 拓展到双目)
17. BAD-SLAM(直接法 RGB-D SLAM)
  • 论文:Schops T, Sattler T, Pollefeys M. BAD SLAM: Bundle Adjusted Direct RGB-D SLAM[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 134-144.
  • 代码:https://github.com/ETH3D/badslam
18. GSLAM(集成 ORB-SLAM2,DSO,SVO 的通用框架)
19. ARM-VO(运行于 ARM 处理器上的单目 VO)
20. cvo-rgbd(直接法 RGB-D VO)
21. Map2DFusion(单目 SLAM 无人机图像拼接)
22. CCM-SLAM(多机器人协同单目 SLAM)
23. ORB-SLAM3
24. OV²SLAM(完全实时在线多功能 SLAM)
25. ESVO(基于事件的双目视觉里程计)
26. VOLDOR-SLAM(实时稠密非直接法 SLAM)

1.2 Semantic / Deep SLAM (17项)

SLAM 与深度学习相结合的工作当前主要体现在两个方面,一方面是将语义信息参与到建图、位姿估计等环节中,另一方面是端到端地完成 SLAM
的某一个步骤(比如 VO,闭环等)。

1. MsakFusion
2. SemanticFusion
3. semantic_3d_mapping
4. Kimera(实时度量与语义定位建图开源库)
5. NeuroSLAM(脑启发式 SLAM)
6. gradSLAM(自动分区的稠密 SLAM)
7. ORB-SLAM2 + 目标检测/分割的方案语义建图
  • https://github.com/floatlazer/semantic_slam
  • https://github.com/qixuxiang/orb-slam2_with_semantic_labelling
  • https://github.com/Ewenwan/ORB_SLAM2_SSD_Semantic
8. SIVO(语义辅助特征选择)
9. FILD(临近图增量式闭环检测)
10. object-detection-sptam(目标检测与双目 SLAM)
11. Map Slammer(单目深度估计 + SLAM)
12. NOLBO(变分模型的概率 SLAM)
13. GCNv2_SLAM (基于图卷积神经网络 SLAM)
14. semantic_suma(激光语义建图)
  • 论文:Chen X, Milioto A, Palazzolo E, et al. SuMa++: Efficient LiDAR-based semantic SLAM[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 4530-4537.
  • 代码:https://github.com/PRBonn/semantic_suma/ ;Video
15. Neural-SLAM(主动神经 SLAM)
16. TartanVO:一种通用的基于学习的 VO
17. DF-VO

1.3 Multi-Landmarks / Object SLAM (15项)

多路标的点、线、平面 SLAM 和物体级 SLAM

1. PL-SVO(点线 SVO)
2. stvo-pl(双目点线 VO)
3. PL-SLAM(点线 SLAM)
4. PL-VIO
5. lld-slam(用于 SLAM 的可学习型线段描述符)

点线结合的工作还有很多,国内的比如

6. PlaneSLAM
7. Eigen-Factors(特征因子平面对齐)
8. PlaneLoc
9. Pop-up SLAM
10. Object SLAM
11. voxblox-plusplus(物体级体素建图)
12. Cube SLAM
13. VPS-SLAM(平面语义 SLAM)
14. Structure-SLAM (低纹理环境下点线 SLAM)
15. PL-VINS

1.4 Sensor Fusion (23项)

在传感器融合方面只关注了视觉 + 惯导,其他传感器像 LiDAR,GPS。

1. msckf_vio
2. rovio
3. R-VIO
  • 论文:Huai Z, Huang G. Robocentric visual-inertial odometry[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 6319-6326.
  • 代码:https://github.com/rpng/R-VIO ;Video
  • VI_ORB_SLAM2:https://github.com/YoujieXia/VI_ORB_SLAM2
4. okvis
5. VIORB
  • 论文:Mur-Artal R, Tardós J D. Visual-inertial monocular SLAM with map reuse[J]. IEEE Robotics and Automation Letters, 2017, 2(2): 796-803.
  • 代码:https://github.com/jingpang/LearnVIORB (VIORB 本身是没有开源的,这是王京大佬复现的一个版本)
6. VINS-mono
  • 论文:Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.
  • 代码:https://github.com/HKUST-Aerial-Robotics/VINS-Mono
  • 双目版 VINS-Fusion:https://github.com/HKUST-Aerial-Robotics/VINS-Fusion
  • 移动段 VINS-mobile:https://github.com/HKUST-Aerial-Robotics/VINS-Mobile
7. VINS-RGBD
8. Open-VINS
9. versavis(多功能的视惯传感器系统)
10. CPI(视惯融合的封闭式预积分)
11. TUM Basalt
12. Limo(激光单目视觉里程计)
  • 论文:Graeter J, Wilczynski A, Lauer M. Limo: Lidar-monocular visual odometry[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 7872-7879.
  • 代码:https://github.com/johannes-graeter/limo ; Video
13. LARVIO(多状态约束卡尔曼滤波的单目 VIO)
14. vig-init(垂直边缘加速视惯初始化)
15. vilib(VIO 前端库)
16. Kimera-VIO
17. maplab(视惯建图框架)
18. lili-om:固态雷达惯性里程计与建图
19. CamVox:Lidar 辅助视觉 SLAM
20. SSL_SLAM:固态 LiDAR 轻量级 3D 定位与建图
21. r2live:LiDAR-Inertial-Visual 紧耦合
22. GVINS:GNSS-视觉-惯导紧耦合
23. LVI-SAM:Lidar-Visual-Inertial 建图与定位

1.5 Dynamic SLAM (8项)

动态 SLAM 也是一个很值得研究的话题,这里不太好分类,很多工作用到了语义信息或者用来三维重建,收集的方案相对较少

1. DynamicSemanticMapping(动态语义建图)
2. DS-SLAM(动态语义 SLAM)
3. Co-Fusion(实时分割与跟踪多物体)
4. DynamicFusion
5. ReFusion(动态场景利用残差三维重建)
6. DynSLAM(室外大规模稠密重建)
7. VDO-SLAM(动态物体感知的 SLAM)

1.6 Mapping (22项)

针对建图的工作一方面是利用几何信息进行稠密重建,另一方面很多工作利用语义信息达到了很好的语义重建效果,三维重建、SFM
本身就是个很大的话题,开源代码也很多,以下方案收集地可能也不太全。

1. InfiniTAM(跨平台 CPU 实时重建)
2. BundleFusion
3. KinectFusion
4. ElasticFusion
5. Kintinuous
6. ElasticReconstruction
7. FlashFusion
8. RTAB-Map(激光视觉稠密重建)
9. RobustPCLReconstruction(户外稠密重建)
10. plane-opt-rgbd(室内平面重建)
11. DenseSurfelMapping(稠密表面重建)
  • 论文:Wang K, Gao F, Shen S. Real-time scalable dense surfel mapping[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 6919-6925.
  • 代码:https://github.com/HKUST-Aerial-Robotics/DenseSurfelMapping
12. surfelmeshing(网格重建)
13. DPPTAM(单目稠密重建)
14. VI-MEAN(单目视惯稠密重建)
15. REMODE(单目概率稠密重建)
  • 论文:Pizzoli M, Forster C, Scaramuzza D. REMODE: Probabilistic, monocular dense reconstruction in real time[C]//2014 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2014: 2609-2616.
  • 原始开源代码:https://github.com/uzh-rpg/rpg_open_remode
  • 与 ORB-SLAM2 结合版本:https://github.com/ayushgaud/ORB_SLAM2 https://github.com/ayushgaud/ORB_SLAM2
16. DeepFactors(实时的概率单目稠密 SLAM)
17. probabilistic_mapping(单目概率稠密重建)
18. ORB-SLAM2 单目半稠密建图
19. Voxgraph(SDF 体素建图)
20. SegMap(三维分割建图)
21. OpenREALM:无人机实时建图框架
22. c-blox:可拓展的 TSDF 稠密建图

1.7 Optimization (6项)

优化可能是 SLAM 中最难的一部分了吧 +_+ ,一般都是直接用现成的因子图、图优化方案,要创新可不容易

1. 后端优化库
  • GTSAM:https://github.com/borglab/gtsam ;官网
  • g2o:https://github.com/RainerKuemmerle/g2o
  • ceres:http://ceres-solver.org/
2. ICE-BA
3. minisam(因子图最小二乘优化框架)
4. SA-SHAGO(几何基元图优化)
5. MH-iSAM2(SLAM 优化器)
6. MOLA(用于定位和建图的模块化优化框架)

2. 优秀作者与实验室

这一部分整理之后发布在知乎(2020 年 4 月 19 日):https://zhuanlan.zhihu.com/p/130530891

1. 美国卡耐基梅陇大学机器人研究所
2. 美国加州大学圣地亚哥分校语境机器人研究所
  • 研究方向:多模态环境理解,语义导航,自主信息获取
  • 实验室主页:https://existentialrobotics.org/index.html
  • 发表论文汇总:https://existentialrobotics.org/pages/publications.html
  • 👦 Nikolay Atanasov个人主页谷歌学术
    • 机器人状态估计与感知课程 ppt:https://natanaso.github.io/ece276a2019/schedule.html
  • 📜 语义 SLAM 经典论文:Bowman S L, Atanasov N, Daniilidis K, et al. Probabilistic data association for semantic slam[C]//2017 IEEE international conference on robotics and automation (ICRA). IEEE, 2017: 1722-1729.
  • 📜 实例网格模型定位与建图:Feng Q, Meng Y, Shan M, et al. Localization and Mapping using Instance-specific Mesh Models[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 4985-4991.
  • 📜 基于事件相机的 VIO:Zihao Zhu A, Atanasov N, Daniilidis K. Event-based visual inertial odometry[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5391-5399.
3. 美国特拉华大学机器人感知与导航组
4. 美国麻省理工学院航空航天实验室
  • 研究方向:位姿估计与导航,路径规划,控制与决策,机器学习与强化学习
  • 实验室主页:http://acl.mit.edu/
  • 发表论文:http://acl.mit.edu/publications (实验室的学位论文也可以在这里找到)
  • 👦 Jonathan P. How 教授:个人主页谷歌学术
  • 👦 Kasra Khosoussi(SLAM 图优化):谷歌学术
  • 📜 物体级 SLAM:Mu B, Liu S Y, Paull L, et al. Slam with objects using a nonparametric pose graph[C]//2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2016: 4602-4609.(代码:https://github.com/BeipengMu/objectSLAM)
  • 📜 物体级 SLAM 导航:Ok K, Liu K, Frey K, et al. Robust Object-based SLAM for High-speed Autonomous Navigation[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 669-675.
  • 📜 SLAM 的图优化:Khosoussi, K., Giamou, M., Sukhatme, G., Huang, S., Dissanayake, G., and How, J. P., Reliable Graphs for SLAM [C]//International Journal of Robotics Research (IJRR), 2019.
5. 美国麻省理工学院 SPARK 实验室
6. 美国麻省理工学院海洋机器人组
7. 美国明尼苏达大学多元自主机器人系统实验室
8. 美国宾夕法尼亚大学 Vijay Kumar 实验室
9. Srikumar Ramalingam(美国犹他大学计算机学院)
10. Frank Dellaert(美国佐治亚理工学院机器人与智能机器研究中心)
11. Patricio Vela (美国佐治亚理工学院智能视觉与自动化实验室)
12. 加拿大蒙特利尔大学 机器人与嵌入式 AI 实验室
13. 加拿大舍布鲁克大学智能、交互、综合、跨学科机器人实验室
14. 瑞士苏黎世大学机器人与感知课题组
  • 研究方向:移动机器人、无人机环境感知与导航,VISLAM事件相机
  • 实验室主页:http://rpg.ifi.uzh.ch/index.html
  • 发表论文汇总:http://rpg.ifi.uzh.ch/publications.html
  • Github 代码公开地址:https://github.com/uzh-rpg
  • 📜 Forster C, Pizzoli M, Scaramuzza D. SVO: Fast semi-direct monocular visual odometry[C]//2014 IEEE international conference on robotics and automation (ICRA). IEEE, 2014: 15-22.
  • 📜 VO/VIO 轨迹评估工具 rpg_trajectory_evaluation:https://github.com/uzh-rpg/rpg_trajectory_evaluation
  • 📜 事件相机项目主页:http://rpg.ifi.uzh.ch/research_dvs.html
  • 👦 人物Davide Scaramuzza张子潮
15. 瑞士苏黎世联邦理工计算机视觉与几何实验室
16. 英国帝国理工学院戴森机器人实验室
17. 英国牛津大学信息工程学
  • 研究方向:SLAM、目标跟踪、运动结构、场景增强、移动机器人运动规划、导航与建图等等等
  • 实验室主页:http://www.robots.ox.ac.uk/
    • 主动视觉实验室:http://www.robots.ox.ac.uk/ActiveVision/
    • 牛津机器人学院:https://ori.ox.ac.uk/
  • 发表论文汇总
    • 主动视觉实验室:http://www.robots.ox.ac.uk/ActiveVision/Publications/index.html
    • 机器人学院:https://ori.ox.ac.uk/publications/papers/
  • 代表性工作
  • 👦 人物(谷歌学术):David MurrayMaurice Fallon
  • 部分博士学位论文可以在这里搜到:https://ora.ox.ac.uk/
18. 德国慕尼黑工业大学计算机视觉组
  • 研究方向:三维重建、机器人视觉、深度学习、视觉 SLAM
  • 实验室主页:https://vision.in.tum.de/research/vslam
  • 发表论文汇总:https://vision.in.tum.de/publications
  • 代表作:DSO、LDSO、LSD_SLAM、DVO_SLAM
    • 📜 DSO:Engel J, Koltun V, Cremers D. Direct sparse odometry[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 40(3): 611-625.(代码:https://github.com/JakobEngel/dso )
    • 📜 LSD-SLAM: Engel J, Schöps T, Cremers D. LSD-SLAM: Large-scale direct monocular SLAM[C]//European conference on computer vision. Springer, Cham, 2014: 834-849.(代码:https://github.com/tum-vision/lsd_slam )2.
  • Github 地址:https://github.com/tum-vision
  • 👦 Daniel Cremers 教授:个人主页 谷歌学术
  • 👦 Jakob Engel(LSD-SLAM,DSO 作者):个人主页谷歌学术
19. 德国马克斯普朗克智能系统研究所嵌入式视觉组
20. 德国弗莱堡大学智能自主系统实验室
21. 西班牙萨拉戈萨大学机器人、感知与实时组 SLAM 实验室
22. 西班牙马拉加大学机器感知与智能机器人课题组
23. Alejo Concha(Oculus VR,西班牙萨拉戈萨大学)
24. 奥地利格拉茨技术大学计算机图形学与视觉研究所
25. 波兰波兹南工业大学移动机器人实验室
26. Alexander Vakhitov(三星莫斯科 AI 中心)
27. 澳大利亚昆士兰科技大学机器人技术中心
28. 澳大利亚机器人视觉中心
  • 研究方向:机器人感知、理解与学习 (集合了昆士兰科技大学,澳大利亚国立大学,阿德莱德大学,昆士兰大学等学校机器人领域的研究者)
  • 实验室主页:https://www.roboticvision.org/
  • 人物:https://www.roboticvision.org/rv_person_category/researchers/
  • 发表论文汇总:https://www.roboticvision.org/publications/scientific-publications/
  • 👦 Yasir Latif个人主页谷歌学术
  • 👦 Ian D Reid:谷歌学术:https://scholar.google.com/citations?user=ATkNLcQAAAAJ&hl=zh-CN&oi=sra
29. 日本国立先进工业科学技术研究所
30. Pyojin Kim(韩国首尔大学自主机器人实验室)
31. 香港科技大学空中机器人实验室
  • 研究方向:空中机器人在复杂环境下的自主运行,包括状态估计、建图、运动规划、多机器人协同以及低成本传感器和计算组件的实验平台开发。
  • 实验室主页:http://uav.ust.hk/
  • 发表论文:http://uav.ust.hk/publications/
  • 👦 沈邵劼教授谷歌学术
  • 代码公开地址:https://github.com/HKUST-Aerial-Robotics
  • 📜 Qin T, Li P, Shen S. Vins-mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics, 2018, 34(4): 1004-1020.(代码:https://github.com/HKUST-Aerial-Robotics/VINS-Mono )
  • 📜 Wang K, Gao F, Shen S. Real-time scalable dense surfel mapping[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 6919-6925.(代码:https://github.com/HKUST-Aerial-Robotics/DenseSurfelMapping )
32. 香港科技大学机器人与多感知实验室 RAM-LAB
33. 香港中文大学天石机器人实验室
34. 浙江大学 CAD&CG 国家重点实验室
35. 邹丹平(上海交通大学)
36. 布树辉教授(西北工业大学智能系统实验室)
+1 Cyrill Stachniss(德国波恩大学摄影测量与机器人实验室)
  • 研究方向:概率机器人、SLAM、自主导航、视觉激光感知、场景分析与分配、无人飞行器
  • 实验室主页:https://www.ipb.uni-bonn.de/
  • 👦 个人主页:https://www.ipb.uni-bonn.de/people/cyrill-stachniss/ 谷歌学术
  • 发表论文:https://www.ipb.uni-bonn.de/publications/
  • 开源代码:https://github.com/PRBonn
  • 📜 IROS 2019 激光语义 SLAM:Chen X, Milioto A, Palazzolo E, et al. SuMa++: Efficient LiDAR-based semantic SLAM[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 4530-4537.(代码:https://github.com/PRBonn/semantic_suma/ )
  • Cyrill Stachniss 教授 SLAM 公开课:youtubebilibili
  • 波恩大学另外一个智能自主系统实验室:http://www.ais.uni-bonn.de/research.html
+1 上海科技大学
+1 美国密歇根大学机器人研究所
+1 瑞士苏黎世联邦理工自主系统实验室
+1 美国麻省理工学院 Robust Robotics Group
+1 瑞士苏黎世联邦理工 Vision for Robotics Lab
+1 谢立华教授(南洋理工大学)

3. SLAM 学习资料

这一部分的内容不太完整,陆续丰富,欢迎补充

3.1 国内资料

  • 1) SLAMcn:http://www.slamcn.org/index.php/
  • 2) SLAM 最新研究更新 Recent_SLAM_Research :https://github.com/YiChenCityU/Recent_SLAM_Research
  • 3) 西北工大智能系统实验室 SLAM 培训:https://github.com/zdzhaoyong/SummerCamp2018
    • 布树辉老师课件:http://www.adv-ci.com/blog/course/
  • 4) IROS 2019 视觉惯导导航的挑战与应用研讨会:http://udel.edu/~ghuang/iros19-vins-workshop/index.html
  • 5) 泡泡机器人 VIO 相关资料:https://github.com/PaoPaoRobot/Awesome-VIO
  • 6) 崔华坤:主流 VIO 论文推导及代码解析:https://github.com/StevenCui/VIO-Doc
  • 7) 李言:SLAM 中的几何与学习方法
  • 8) 黄山老师状态估计视频:bilibili
  • 9) 谭平老师-SLAM 6小时课程:bilibili
  • 10) 2020 年 SLAM 技术及应用暑期学校:视频-bilibili | 课件

3.2 国外资料

  • 1) 事件相机相关研究与发展:https://github.com/uzh-rpg/event-based_vision_resources
  • 2) 加州大学圣地亚哥分校语境机器人研究所 Nikolay Atanasov 教授机器人状态估计与感知课程 ppt:https://natanaso.github.io/ece276a2019/schedule.html
  • 3) 波恩大学 Mobile Sensing and Robotics Course 公开课 :youtubebilibili

3.3 公众号

  • 泡泡机器人 SLAM:paopaorobot_slam

3.4 数据集


激光视觉融合语义SLAM开源代码是一种利用激光雷达和视觉传感器提供的数据进行同时定位地图构建的技术。该技术结合了激光雷达提供的高精度地图和视觉传感器提供的语义信息,能够在环境中同时进行定位和目标识别。这种技术的开源代码使得研究者和开发者可以更好地理解和应用该算法。 激光视觉融合语义SLAM开源代码的主要优点是可以利用激光雷达和视觉传感器的互补性,提高地图构建的准确性和重建的视觉效果。激光雷达能够提供精确的地图结构和距离信息,而视觉传感器则能够提供更丰富的语义信息。激光视觉融合语义SLAM开源代码能够将两者的数据进行融合,利用激光雷达的高精度地图信息进行优化,并通过视觉传感器的语义信息实现更准确和完整的地图重建。 开源代码使得研究者可以自由地访问和利用这些算法,从而加快研究进展和技术推广。通过开源代码,研究者可以根据自己的需求和实际情况进行定制和修改,以适应不同的应用场景和硬件设备。此外,开源代码还能够促进学术界和工业界之间的交流合作,推动SLAM技术的发展和应用。 总之,激光视觉融合语义SLAM开源代码是一项重要的技术,能够实现在同时定位地图构建过程中的高精度地图和丰富语义信息的完美融合。通过开源代码的共享,促进了该技术的发展和推广,为研究者和开发者提供了更好的工具和资源,推动了SLAM技术在不同领域的应用。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI扩展坞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值