点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
来源丨泡泡机器人SLAM
标题：Multirobot Collaborative Monocular SLAM Utilizing Rendezvous
作者：Youngseok Jang, Changsuk Oh, Yunwoo Lee, H. Jin Kim
机构：Seoul National University
来源：TRO 2021
编译：刘嘉玲
审核: 张琪琛
摘要
大家好，今天为大家带来的文章是 Multirobot Collaborative Monocular SLAM Utilizing Rendezvous
多机器人同时定位与建图 (SLAM) 需要技术要素，例如系统构建多个 SLAM 系统以及从每个机器人处收集信息。特别是地图融合是多机器人 SLAM 的一个重要过程，它将机器人团队估计的多个局部地图组合成一个全局地图。多个局部地图的融合通常基于回环检测，该回环检测识别多个机器人访问过同一场景，或者基于机器人会合，其中机器人团队的成员在另一个成员的图像中被观察到。本文提出了一种协作式单目 SLAM，包含一种利用集合点的地图融合算法，当多机器人团队成员近距离操作时，可能会发生这种情况。与现有的需要额外传感器的基于交会的方法不同，所提出的系统仅使用单目相机。我们的系统可以使用非静态特征 (NSF) 识别机器人集合点，而无需使用基准标记来识别团队机器人。NSF 在典型的 SLAM 系统中因为不支持自我运动而作为异常值被抛弃，它包括在会合情况下机器人之间的相对方位测量。提出的流程包括以下内容：首先，一个特征识别模块，从 NSF 中提取机器人之间的相对方位测量值，该 NSF 由具有误报的匿名方位向量组成，其次，一个地图融合模块，使用已识别的相对测量值将来自观察者机器人的地图与被观察到的机器人的地图融合成一个地图。特征识别模块可以使用所提出的交替最小化算法快速运行，该算法由两个具有封闭形式解决方案的子问题制定。实验结果证实，我们的协作式单目 SLAM 系统能够快速、鲁棒地识别集合点，并将团队机器人的局部地图准确地融合到全局地图中。
主要工作与贡献
一种使用 NSF 的新的基于交汇的 MF （地图融合）方法：大多数 SLAM 算法仅使用静态特征，并丢弃包含不匹配特征或从动态障碍物或其他机器人中提取的特征作为异常值的 NSF。然而，NSF 可能包含有用的信息，例如多机器人系统中的机器人间测量。本文提出了一种利用 NSF 的 MF 方法，该方法提高了整体效率，因为 NSF 可以从现有的单机器人 SLAM 中轻松提取，而无需额外的过程来获得机器人间的观察结果。
单目多机器人 SLAM 的系统框架：由于 NSF 是具有误报的匿名测量，例如不匹配的特征或从动态障碍物中提取的特征，因此需要团队机器人和 NSF 之间的关联，以便确定被观察机器人的身份以执行基于交会的 MF。现有的基于集合点的 MF 方法使用特殊的视觉标签 [7]、[8] 或额外的传感器，如 IMU [12] 和运动捕捉系统 [9] 来识别匿名观察。然而，我们的方法仅使用来自单目相机的匿名方位测量，而没有关于团队机器人的先验知识，例如基准标记，从而提高了在一般多机器人系统中的适用性。为此，我们提出了以下两个模块：1）特征识别（FI）模块，它在 NSF 中找到指示特定团队机器人的团队特征，以及 2）MF 模块，它使用识别的团队特征来估计局部地图之间的相对变换，并将它们集成到全局地图中。这些模块与单机器人模块系统集成，完成协同单目SLAM框架。
一种有效的交替最小化 (AM) 算法：FI 模块中团队特征的识别被表述为非线性优化问题。我们提出了一种高效的 AM 算法，它将整体优化变量分成两个子集，并求解一个子集，当另一个子集是固定的。因此，可以通过迭代地在两个子问题之间交替来解决原始优化问题。特别是，我们设计了两个具有封闭形式解决方案的子问题，以便 FI 模块可以使用所提出的 AM 算法快速区分 NSF 之间的团队特征，而无需麻烦地调整关键参数，例如数值优化中的步长。实验结果证实，所提出的 AM 算法由于具有闭式解的子问题定义而允许高速运算，同时比流行的非线性优化求解器 Levenberg-Marquardt (LM) 算法具有更高的精度。
算法流程
1.动机
1）当多个机器人在具有多个相似场景的环境中运行时，它们很可能会导致错误的循环检测，将具有相似场景的不同点识别为同一地点。此外，如果安装在机器人上的摄像头的视点不同，例如，无人机的俯视图和地面机器人的前视图如图 1 所示，可能很难观察到同一个地方。即使观察到，也无法检测到互环，因为表示每个场景的描述符由于摄像机的不同视点而不同。另一方面，会合是指机器人团队的成员在另一个成员的图像中被观察到的情况较少受此类限制的影响。
2）由于使用视觉标签 [7]、[8] 或外部传感器 [9] 识别团队机器人在实际应用中并不适用，因此所有机器人间的观察都应假定为匿名的。大多数考虑匿名测量的论文使用距离传感器 [10]、[11] 或轴承传感器和惯性测量单元 (IMU) [12]、[13]。仅使用匿名方位测量来识别团队机器人和 MF 可以促进 SLAM 系统适用于机载资源有限的小型机器人，例如微型飞行器。特别是，多机器人 SLAM 使用基于交会的地图融合，仅使用单目相机等方位传感器，可以在物理尺寸、重量和计算要求方面提供显着优势。
图1 基于交汇的多机器人地图融合
整体框架
图2 系统框架
2.单机器人模块
对于 NSF 的提取和管理，对基于特征的 SLAM 进行了如下修改。NSF 由不支持自我运动的不匹配特征和动态特征组成。Kanade–Lucas–Tomasi (KLT) 特征跟踪器 [37] 在连续图像中跟踪所有提取的 NSF。计算在比批量大小参数 Nbs 更多的图像中成功跟踪的 NSF 的描述符，并与第一次提取 NSF 时计算的参考描述符进行比较。图像之间的描述符比较有Nbs步，而不仅仅是两个连续的图像，有助于我们去除大部分不匹配的特征。匹配成功的 NSF 可以被视为动态对象上的特征，并存储在 NSF 数据库（DB NSF）中。
此外，将提取的 NSF 与 DB NSF 中的描述符进行比较，以检查 DB NSF 中是否存在相同的特征。这个过程类似于基于特征的 SLAM 的重定位，帮助我们识别 rerendezvous（重新交汇），这意味着团队机器人从图像中消失并重新出现。
3.FI模块
FI 模块将观察机器人的 AP 和 NSF 与可观察机器人的 AP 进行比较，以检查 NSF 是否具有指向团队机器人的特征。如果是这样，这些 NSF 被视为团队特征，可以提供确定的相对测量值。
我们制定了优化问题，将与 NSF 匹配的团队机器人识别为与图边相关的误差最小化，并将原始非凸优化问题重新表述为具有封闭形式解决方案的两个子问题。为保证最优解的唯一性，NSF 应被跟踪不少于五次。
图3 NSF跟踪过程中两个机器人的代表性坐标
回环边的误差定义如下：
4.MF模块
应该计算两个局部地图之间的 SIM(3)，它等于两个局部地图之间的比例和相对初始姿态的 SE(3)，以融合局部地图。只需要相对初始平移来计算 SIM(3)，因为其他参数明确包含在 AM 解决方案中，它提供了观察机器人的内部点、比例、深度和初始姿势之间的相对旋转。机器人 A 和 B 的相对初始平移可以计算如下：
实验结果
1.实验设置
1）实验一：具有丰富功能的手持相机和平板分别定义为机器人 A 和 B。B 的位姿由动作捕捉系统提供，机器人 A 的单目摄像头用于实现 SLAM 和提取 NSF。FI 和 MF 模块在机器人 A 不断注视机器人 B 一侧的交会情况下进行评估。
2）实验二：无人驾驶飞行器（UAV）和无人驾驶地面车辆（UGV）分别配备了俯视图和前视图的单目相机，分别定义为机器人A和B。机器人 A 观察地板，机器人 B 观察墙壁。由于机器人 A 和 B 的视野完全不同，因此两个机器人很难观察到相同的场景。因此，CCM-SLAM [24] 是一种使用回环检测的具有 MF 的协作单目 SLAM，无法检测 A 和 B之间的回环。
3）实验三：使用一台手持摄像机和两台配备单目摄像机的 Pioneer 3-DX 机器人。我们将手持相机定义为机器人 A，将 Pioneer 向上看定义为机器人 B，将 Pioneer 看下看定义为机器人 C 。由于不同地方的场景相似，CCM-SLAM 在机器人 A 和 C 之间产生错误的回环检测，因此不会发生 MF。
4）实验四：使用了三个机器人：一个手持相机、一个六旋翼和一个带有单目相机的 Turtlebot3，分别定义为机器人 A、B 和 C。机器人 A 从二楼走廊的尽头开始，走下楼梯，沿着一楼走廊移动，然后进入机器人 B 飞行的房间。机器人 A 和 C 之间的会合发生在一楼的走廊中，机器人 A 和 B 之间的会合发生在一楼的房间内。CCM-SLAM 使用第一条走廊上的视觉板在机器人 A 和 C 之间找到正确的互环，但与机器人 B 的本地地图相关联的 MF 不会发生。
2.实验结果
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，加微信：dddvision
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
