M2DGR：多源多场景地面机器人SLAM数据集（ICRA 2022 ）

最新推荐文章于 2025-03-14 21:25:53 发布

3Ｄ视觉工坊

最新推荐文章于 2025-03-14 21:25:53 发布

阅读量3.8k

点赞数 5

文章标签：算法机器学习人工智能编程语言大数据

原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247613025&idx=2&sn=f9cd5aed2ff529a759c161633a145fa1&chksm=fbfd1155cc8a98438f5607e9839b8837c5780043cceff85386a50ee2dbb9177baf03d0970325&scene=126&&sessionid=0

版权

Paper：https://arxiv.org/pdf/2112.13659.pdf

出处：ICRA2022 & RAL2021

项目地址：https://github.com/SJTU-ViSYS/M2DGR

主讲人：M2DGR一作上交硕士殷杰，导师邹丹平教授；

ICRA官方分享：https://www.bilibili.com/video/BV1q3411G7iF

Paper Literature Review：暂空缺；

Notes

大纲：

1.多源SLAM发展现状
2.主流SLAM数据集回顾
3.M2DGR采集平台与环境
4.实验评估与结果分析
5.数据集使用指南

1 多源SLAM发展现状

主要内容包括：视觉SLAM、激光SLAM、多源融合；

其中：多源融合的SLAM方法可以有效的提高SLAM的精度和鲁棒性，是目前最热门的领域之一；

VSLAM主要分为以上四个模块；主要分为传统的方法和基于学习的方法；目前学术界会认为ORB-SLAM3的性能比VINS-Mono更好，这是在TUM-VI和EuRoC两个数据集上得出的结论，但是主讲人经过实验验证上发现：在小车以及真车上面，VINS-Mono性能会更稳定，也会更好一些，ORB-SLAM3在这样的平台上容易跟踪失败；如果是在小规模或者是由大量回环的情况下，ORB-SLAM3是可以达到分米级别，甚至是厘米级别的精度。SVO2相比与SVO，增加了多目的支持、后端优化以及回环检测，性能可以媲美ORB-SLAM3；DM-VIO是最新的一个工作。是一个延迟边缘化的系统，性能也可以媲美ORB-SLAM3；上面几个算法在不同数据集上各有优劣，都可以视为SOTA 算法；

基于学习的SLAM系统中，Droid-slam是所有SLAM中定位精度最高，其在TUM-RGBDI和EuRoC上的性能远超ORB-SLAM3，它在所有的序列上都能达到厘米级的精度，其缺点在于非常消耗计算资源，需要两块3090才能实时运行；NICE-SLAM是浙大的面向SLAM的动态神经隐式可缩放编码，神经隐式比较适合渲染稠密几何体（比如IMAP，但是Imap很难处理大型场景，NICE-SLAM可以处理大场景）；TANDEM展现了不错的实时三维重建性能。

总结：传统方法消耗的资源比较少，但是构建的地图相对稀疏；基于学习的方法精度会更好，地图也很更加稠密，但是泛化能力差。

视觉SLAM对于光照和纹理信息比较敏感，但是激光SLAM是不受影响的；通常情况，激光SLAM在大场景下精度和鲁棒性比VSLAM更高；激光SLAM缺点在于，难于重定位（导致漂移）、构建地图稀疏、成本高；Cartographer在论文上测试精度可以达到5cm甚至3cm；机械式3D激光雷达可以360°旋转；固态3D激光雷达用的最多的是livox，但是固态3D激光雷达有一个固定的FOV；

视觉和激光融合：比较早的工作V-LOAM（2014，非开源）；

GNSS融合：在户外场景下可以获得全局坐标进而消除漂移；

事件相机融合：可以解决传统相机运动模糊和过曝的问题；

轮速计融合：VINS on wheels解决了一些场景下的退化问题，目前该场景已经非常完善了。

主讲人认为目前最有前景的是GNSS和SLAM的融合，因为GNSS和SLAM都是非常复杂的算法，并且做这块的并不是很多.

2 主流SLAM数据集回顾

KITTI:年代久远而且传感器较少;视觉SLAM一般不采用该数据集,而采用TUM(手持RGBD)和EUROC(无人机);

NCLT:地面机器人采集,相机采集频率低,传感器少;

OpenLORIS:地面机器人采集,相机内外参不公布;gt获取不严谨,是由激光SLAM跑出来的;

3 M2DGR采集平台与环境

采集数据集的效果图;

采集平台,具体设备如上;.GNSS-IMU组合导航主要用于采集室外RTK信号作为室外轨迹gt;lidar是通过网口连接到笔记本电脑的. IMU采用的是国产的消费级的设备(500-800rmb)

(a)室外的序列在上交进行采集的,这些序列都比较长,现有的SLAM算法在上面跑出的效果都比较不理想的, 属于非常有挑战的数据集;

(b)Roomdark是在全黑的场景下,用来对比普通相机红外相机和事件相机的性能;

(c)目的是测试室内外交替的SLAM算法性能;

(d)这个序列也是非常有挑战性的;

4 实验评估与结果分析

上面是7个比较有代表性的序列;

定位结果的可视化; 总结就是:群魔乱舞! 漂移都非常明显.

5 数据集使用指南

上面罗列了几个数据集的信息.

在校学生或者老师可以连接校园网 , 可以达到10M/S .

VSLAM单目的没法获得绝对尺度, 需要添加- s (scale). 如果你的算法能够稳定超过上面这些SOTA算法 (比如你的算法比orb-slam3高出2-3米), 恭喜你 , 你也可以发一篇ICRA了

以上是数据集使用的流程.作者会保持对该数据集的更新!

Q&A

1.相机和IMU的标定使用calib , 效果好并且标定简单;

2.九轴的IMU比六轴的IMU能采集更加立体的信息.

3.KITTI的数据集IMU数据集可能有问题 , 不建议使用KITTI跑视觉SLAM的系统.

4.NUC 3000-5000左右的性能不太好 , 建议使用顶配的NUC.

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
 4.国内首个面向工业级实战的点云处理课程
 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：