MAPLAB2.0论文阅读-2023

CCChester

已于 2023-03-11 15:38:56 修改

阅读量331

点赞数 1

分类专栏：协同建图文章标签：论文阅读人工智能计算机视觉

于 2023-02-22 16:13:08 首次发布

本文链接：https://blog.csdn.net/CCChester/article/details/129149677

版权

协同建图专栏收录该内容

3 篇文章 2 订阅

订阅专栏

maplab 2.0 – A Modular and Multi-Modal Mapping Framework

我的习惯：先看文章的结论
这是一个多模态、多机器人建图（在线、离线）的研究平台。
有哪些功能？用于多会话、多机器人和多功能多模态建图的开源平台。集成了多种新模式，如激光雷达、GPS接收机、车轮编码器、语义对象等。提供了易于集成外部组件的接口，例如添加任意数量的不同视觉功能或循环闭合约束。并且能够进行线上协同SLAM。

摘要

现在SLAM的热门研究-集成深度学习-多模态融合。
maplab2.0的三个实例：大场景多机器人多段建图；非视觉地标的集成；将基于语义目标的回环检测模块合并到建图框架中。
激动人心，有源码https://github.com/ethz-asl/maplab.

引言

先说了SLAM技术对什么很重要，然后说实现SLAM需要做什么，未来达到什么样的能力，并且需要解决什么技术。
叙述了近年来SLAM的发展，早点的SLAM，问题，利用某技术有效处理这些问题的SLAM，问题（限制），急需什么技术来解决，并且这个技术对能够对某个领域起重要作用。
引出本工作提供了什么什么系统（平台）。这个系统（平台）有哪些东西，有什么用（跟上面的问题相关）。
现在-线上协同SLAM成为可能（新的子建图功能，支持在线构建、优化和来自多源全球地图的协同定位。）！
架构—集中式

maplab2.0框架

在这里插入图片描述
maplab2.0主要分为三个部分：建图节点，服务器节点，离线控制台。

地图结构

地图的基本结构是由顶点（状态：位姿、速度、imu偏差；地标：（视觉地标、3d地标、语义目标）3d位置）和边组成的因子图，这些顶点和边结合了所有机器人信息和不同任务的测量结果。

1、约束：顶点之间的不同边。IMU边：预积分的IMU测量；相对位姿约束边：顶点间的刚性6自由度变换。这些边会被分配一个协方差以量化测量噪声。回环检测边：相对位姿约束边的特殊情况（可切换约束–Switchable constraints for robust pose graph SLAM）。
如果边与其他约束冲突过多，优化器将舍弃该边
边缘将地标连接到观测到的姿态，并根据估计和观测到的界标位置之间的差异来施加一个误差
优化中也可以直接对选定顶点的内部状态施加约束
2、地标：基于ORB的特征检测，BRISK，FREAK。描述符作用：实现全局定位和回环检测通过处理独立帧并建立利用特征描述符的2D-3D匹配集。
maplab2.0能够添加任意数量不同类型的描述符到地图中。
Lucas–Kanade tracker；floating point descriptors；Binary descriptors
视觉描述符与点云描述符区别：显著的区别在于，这些地标的位置不是使用多视图几何体进行三角测量，而是通过对3D测量进行平均。类似地，姿势图误差项不是基于重投影误差，而是基于观察到的3D位置和地标的3D位置之间的欧几里德距离。另一个显著的区别是，在没有P3P算法的情况下，环路闭合被设置为3D到3D RANSAC匹配问题

建图节点

建图节点在每个机器人上运行，并使用外部输入源和原始传感器数据以多模态因子图的形式创建地图。
初始化问题：因子图的初始化-6DOF,IMU偏差估计
建图过程中可以无缝添加任意数量不同类型的地标以及相对约束和绝对的6DOF约束。
然后，可以将包含所有约束的结果地图传递到建图服务器以进行联机处理，或者将其存储并加载，以便稍后在控制台中进行脱机处理。

建图服务器

能够协同和在线建图
这个服务器既可以用一个专用服务器，也可以建立在一个性能强悍的机器人上，并行运行。

建图节点是怎么传输的？每个建图节点按一定间隔将自己的地图分段（子地图），这些子地图会被立刻传输至服务器，然后和这个机器人之前上传的子地图拼接到一起。上一个子地图的最后一个节点复制到下一个子地图中。同时，服务器将每个机器人的地图闭环到一个全局一致地图中。
1、子地图预处理；不是直接拼接到上一个子地图，而是预处理（局部地图优化，全BA，特征质量评估，本图的回环检测）确保局部精度，之后再拼接到上一个地图。
2、多机器人处理：处理多机器人地图（上面的是单个机器人地图）（回环检测-将所有不同的机器人放置在同一参考系中并纠正漂移：并在所有机器人地图上联合进行全局优化。。特征质量评估，BA，可视化，绝对约束的异常值剔除）
协作构建的全球地图也可以传回机器人，以提高其机载估计的准确性

离线控制台（独立于建图过程）

有一些工具可用于进一步处理地图，例如批处理优化、合并来自不同会话的地图、异常值拒绝、关键帧、地图稀疏化。
为每个传感器和方法合并maplab2.0预先设置了一个固定协方差。

操控和可视化拼接的点云，图像，语义测量。输出地图数据（位姿，IMU偏差，地标）
使用插件可以方便扩展–比如
？实现LiDAR注册模块和语义循环闭合模块

使用实例

比较

用了四个数据集
HILTI SLAM 2021 dataset 《The hilti slam challenge dataset》
有5个相机-仅maplab2.0可以使用 ADIS-IMU，OS0-64激光雷达
maplab2.0用来三个不同的里程计源展示三个使用实例：ROVIO;OKVIS;FAST-LIO2
描述符：BRISK，SuperPoint features，SIFT features
在这里插入图片描述

大场景多机器人多段建图

23个独立手持设备（五个相机，一个OS0128）进行运动，>2小时，>10km
使用OKVIS作为里程计
其中前五幅地图用于使用地图服务器构建全局多机器人地图
在这里插入图片描述
EUROC数据集在服务器上的RMSE APE 0.043m，时间 3min27s

在投影的激光雷达图像上进行视觉跟踪

Mertens fusion《Exposure fusion》将距离和强度值进行融合，丢失的像素值。
使用SuperPoint比视觉特征效果好。
然而，它们也受到环境中缺失点或移动物体在LiDAR图像中产生的噪声引起的异常值的影响。

基于语义的建图

使用Mask R-CNN检测语义目标，NetVLAD进行特征提取，Deep SORT进行目标跟踪。
进行类标签关联可以用于语义回环检测
候选的语义回环检测通过比较同类的目标描述符获得（同一图像中的两个地标是无法匹配到的）
在对候选物进行几何验证并聚类共可见地标之后，使用通过霍恩方法获得的两个3D地标簇之间的相对坐标变换，在最接近两个匹配地标簇的两个机器人顶点之间构建6-DoF约束
最后，使用Manoj《A Closed-form Estimate of 3D ICP Covariance》提出的方法计算相应因子图约束的协方差。