点击下方卡片，关注「计算机视觉工坊」公众号
选择星标，干货第一时间送达
编辑：计算机视觉工坊
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群
扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、3DGS系列、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
今天给大家分享一篇新工作：一种新的视觉SLAM方法，名为Multicam-SLAM，它使用多个RGB-D相机来提高SLAM系统的鲁棒性和准确性。如果您有相关工作需要分享，欢迎文末联系我们！
读者个人理解
这篇文章提出了一种新的视觉SLAM方法，名为Multicam-SLAM，它使用多个RGB-D相机来提高SLAM系统的鲁棒性和准确性。该方法可以捕捉更全面的场景信息，并通过一种新的校准方法来估计非重叠相机之间的相对姿态关系，从而无需相机之间的视野重叠。实验结果表明，Multicam-SLAM在复杂环境下的性能优于传统的单目SLAM系统。
论文信息
论文标题：
Multicam-SLAM: Non-overlapping Multi-camera SLAM for Indirect Visual Localization and Navigation论文地址：
https://arxiv.org/pdf/2406.06374代码地址：
https://github.com/AlterPang/Multi_ORB_SLAM
主要贡献
根据文章内容，Multicam-SLAM 的主要贡献可以概括为以下三点：
创新的多相机视觉SLAM方法
独特的多关键帧结构和并行SLAM线程
进行了详细的实验验证
方法
Multicam-SLAM 采用多关键帧 (MKF) 系统，包含多个图像和对应的局部特征，以及一个多相机实体 (MCE)，即多个相机构成的集合。系统分为三个并行线程：
位姿跟踪线程：负责检测关键点、计算描述符、预测和优化相机位姿、处理跟踪丢失、插入新多关键帧。
局部建图线程：负责维护局部地图，包括剔除冗余地图点、三角化匹配关键点、局部 BA 优化、评估多关键帧冗余并剔除。
闭环检测线程：负责扫描地图，检测潜在闭环，进行闭环校正和全局 BA 优化。
多相机模型
为了处理多相机设置，Multicam-SLAM 引入了一个多相机模型，适用于非重叠视野和任意配置的相机。该模型包含一个多相机坐标系，用于将场景中的点转换为相机坐标系。
多相机标定
为了获得相机之间的精确位姿关系，Multicam-SLAM 提出了一个基于位姿图优化的标定方法。该方法首先进行简化 SLAM 运行，获取相机之间的初始位姿图，然后通过 ORB 特征匹配和 ICP 算法计算匹配帧之间的变换矩阵，最后利用位姿图优化 refine 相机之间的相对位姿。
多相机位姿图优化
Multicam-SLAM 采用 G2O 框架进行图优化，并针对多相机设置重新定义了目标函数。优化过程中，需要计算误差函数的雅可比矩阵，并考虑相机位姿和地图点之间的约束。
实验
Multicam-SLAM 在各种室内场景中进行了大量实验，并与传统的单相机 SLAM 系统进行了比较。结果表明，Multicam-SLAM 在轨迹精度和跟踪鲁棒性方面都具有显著优势。
问1：为了提高轨迹精度，多相机系统需要在两个相机之间建立重叠区域。请问在 Multicam-SLAM 中，如何处理相机之间的重叠区域？
虽然文章主要讨论的是非重叠多相机SLAM系统，但在初始化阶段，仍然需要一定的重叠区域来进行相机标定。文章中提到的解决方案是：
答：1. 简化SLAM程序进行相机标定：
旋转相机系统：在初始化阶段，多相机系统需要旋转，确保不同相机之间有一定的重叠区域，以便进行特征匹配和ICP算法计算。
特征匹配和ICP算法：通过特征匹配，找到不同相机之间重叠区域的匹配特征点对，然后使用 ICP 算法计算匹配帧之间的变换矩阵。
姿态图优化：将每个相机的关键帧姿态作为顶点，帧之间的变换作为边，构建姿态图，并通过优化姿态图来精炼相机之间的相对位姿。
2. 初始化后的处理：
非重叠相机配置：在完成相机标定后，多相机系统可以配置为非重叠的视角，从而扩大覆盖范围，提高轨迹精度。
多相机模型：使用多相机模型将场景中的点从世界坐标系转换到每个相机的坐标系，并进行投影和反向投影。
问2：Multicam-SLAM使用了多个ORB特征来提高定位精度和鲁棒性。请问与其他类型的特征提取方法相比，ORB特征的优势在哪里？
答：与其他类型的特征提取方法相比，ORB特征的优势主要体现在计算效率和鲁棒性方面。例如，SIFT和SURF等特征虽然具有更强的鲁棒性，但计算量较大，难以满足实时性要求。Harris角点检测等方法虽然计算效率高，但鲁棒性较差，容易受到光照和噪声的影响。
问3：在手持实验中，Multicam-SLAM 在轨迹精度和跟踪率方面都优于 ORB-SLAM2。请问这主要归功于哪些因素？
这主要归功于以下几个因素：
更全面的特征观察
更可靠的姿态估计
更丰富的空间信息
更鲁棒的闭环检测
此外，手持实验中ORB-SLAM2失踪的原因也与环境特征有关。例如，实验室环境中网状结构对深度测量造成干扰，导致特征提取困难；墙壁表面纹理较少，难以提取足够的特征进行跟踪。
总结
Multicam-SLAM是一种高效、鲁棒的视觉 SLAM 系统，利用多相机优势克服了单相机 SLAM 的局限性，在室内导航、机器人感知等领域具有广泛的应用前景。
注：今天给大家分享一篇新工作：一种新的视觉SLAM方法，名为Multicam-SLAM，它使用多个RGB-D相机来提高SLAM系统的鲁棒性和准确性。如果您有相关工作需要分享，欢迎联系：cv3d008
本文仅做学术分享，如有侵权，请联系删文。
计算机视觉工坊交流群
目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：
2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。
三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：四旋翼建模、无人机飞控等
除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。
3D视觉学习知识星球
3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。
3D视觉相关硬件
| 图片 | 说明 | 名称 |
|---|---|---|
 | 硬件+源码+视频教程 | 精迅V1(科研级)）单目/双目3D结构光扫描仪 |
 | 硬件+源码+视频教程 | 深迅V13D线结构光三维扫描仪 |
 | 硬件+源码+视频教程 | 御风250无人机(基于PX4) |
 | 硬件+源码 | 工坊智能ROS小车 |
 | 配套标定源码 | 高精度标定板(玻璃or大理石) |
| 添加微信:cv3d007或者QYong2014 咨询更多 | ||
扫一扫
841
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
