点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群
扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 这篇文章干了啥？
特征匹配旨在建立图像之间的对应关系，这在诸如即时定位与地图构建（SLAM）、运动恢复结构（SfM）和视觉定位等众多应用中至关重要。然而，由于存在匹配噪声（包括尺度变化、视角和光照变化、重复模式以及纹理较差等问题），实现精确的点匹配仍然是一个挑战。
近年来，基于学习的特征匹配取得了显著进展。学习检测器、描述符和匹配器的出现彻底改变了传统的稀疏匹配方法。同时，基于学习的半密集和密集方法通过在整个图像上进行密集特征比较，进一步在精度上与其稀疏对应方法拉开了显著差距。然而，所有这些匹配方法都面临着一个共同的障碍：匹配冗余。从本质上讲，在不相关的图像区域中，基于学习的特征之间的相互作用容易受到匹配噪声的影响，从而降低这些方法的匹配性能。
直观上，大多数匹配冗余可以通过高级图像理解来有效识别，并且只有强相关的局部区域（或区域）才需要通过密集特征比较来确定精确匹配。因此，最近的方法在匹配之前进行基于学习的重叠分割。然而，隐式学习需要不可重复使用的计算开销，并且在详细匹配过程中重叠区域中的冗余仍然存在。为了解决这些问题，一些工作转向明确的语义先验。与手动指定主题数量来分组特征块不同，SGAM提出的区域到点匹配（A2PM）框架提供了一种更直观的方式来减少匹配冗余。具体而言，该框架首先建立语义区域匹配，在语义基础上大幅消除匹配冗余，然后在这些区域内通过点匹配获得精确对应关系。然而，SGAM依赖于语义分割来指导区域匹配。因此，在遇到不准确的语义标签和语义模糊时，其性能会下降。此外，由于语义标签的封闭性，A2PM的优势无法推广到更一般的场景中。因此，通过语义分割减少匹配冗余存在不切实际的问题。
最近，Segment Anything Model（SAM）因其卓越的性能和通用性而受到了研究界的广泛关注，它可以作为不同任务的基本前端。这表明该基础模型能够跨不同领域准确地理解图像内容。受此启发，我们意识到可以利用SAM的图像理解能力来减少匹配冗余。因此，我们提出基于SAM分割建立区域匹配，以克服SGAM的局限性。与语义分割类似，图像分割也在图像中提供了多个区域，但这些区域没有附加语义标签。然而，SAM的通用对象感知确保其分割结果本质上包含隐式语义信息。换言之，SAM总是将完整的语义实体分割为一个独立区域。因此，匹配这些隐式语义区域也能有效减少匹配冗余，并促进区域内精确的点匹配。此外，没有明确的语义标签也缓解了因错误标注导致的不准确区域匹配问题。同时，也克服了因语义粒度导致的泛化限制。然而，区域匹配不能仅通过语义标签来实现，在这种情况下需要其他方法。
在本文中，我们提出了“通过分割任何事物来匹配所有事物”，这是一种从SAM分割中进行精确区域匹配的方法。MESA主要关注两个方面：区域关系建模和基于关系的区域匹配。特别是，由于SAM区域仅提供局部信息，独立匹配它们可能导致不准确的结果，特别是在存在尺度变化和重复性的场景中。为了解决这个问题，我们构建了一种新的图结构，称为区域图（AG），以区域的全局上下文为基础进行后续精确匹配。AG将区域作为节点，并通过两种类型的边将它们连接起来：无向边表示相邻关系，有向边表示包含关系。这两种边都捕获了全局信息，用于构建层次结构，以实现高效的匹配。在关系建模的基础上，MESA通过从AG中导出两个图形模型来进行区域匹配：区域马尔可夫随机场（AMRF）和区域贝叶斯网络（ABN）。AMRF涉及所有全局信息丰富的边，因此可以通过图上的能量最小化来实现全局一致的区域匹配。具体来说，图的能量是根据区域之间的学习相似性和空间关系来确定的，这使得能量最小化问题可以通过图割来有效解决。此外，ABN的提出是为了利用AG的层次结构来简化图的能量计算。最后，我们提出了一个全局匹配能量来解决图割中的多解问题，从而最终实现有效的匹配冗余减少。
尽管MESA在高精度方面展现出潜力，但其复杂的处理过程却显著降低了效率。为了探究这一效率问题的根源，我们深入回顾了MESA的匹配过程。与点匹配中的稀疏框架类似，MESA本质上是一个稀疏区域匹配框架。它首先从图像中提取区域候选，然后在图像对中的候选集之间进行密集相似性计算。由于候选区域数量庞大，这导致了巨大的计算开销。此外，与点相比，确定区域之间的相似性要昂贵得多。因此，MESA的效率缺陷主要源于稀疏匹配框架中区域相似性计算的昂贵成本。
为了解决这个问题，我们从点匹配中使用的密集框架中获得灵感，并提出了MESA的密集版本，命名为DMESA，以执行密集区域匹配框架。与点匹配中的普遍观点相反，密集区域匹配框架比稀疏框架更高效。这种差异源于基本单元之间的重叠。在点匹配中，基本单元（即点）之间没有重叠。因此，在整个图像中寻找对应关系的密集框架比仅考虑关键点的稀疏框架产生更高的计算成本。然而，在区域匹配中，基本单元（即候选区域）存在显著重叠，并且经常覆盖整个图像。因此，在稀疏框架的区域相似性计算中存在重复计算。相反，在密集框架中，可以通过在整个图像上直接生成密集匹配分布来避免这些重复计算。此外，我们注意到这些匹配分布可以通过块匹配来推导，这反映了当前半密集点匹配器的粗略匹配阶段。因此，DMESA专注于利用块匹配来实现区域匹配。具体来说，它首先利用现成的粗略匹配方法在源区域和目标图像之间建立块匹配。然后，它使用高斯混合模型（GMM）对这些块匹配的联合匹配分布进行建模，该模型可用于指导后续的区域匹配。考虑到块匹配的准确性问题，DMESA引入了循环一致性来优化分布，该优化基于有限步长的期望最大化（EM）算法。之后，可以从细化后的分布中获得精确的区域匹配。
本工作是我们在CVPR'24上提出的MESA的扩展版本。在此，我们介绍了以下技术改进和实验贡献：1）在深入研究MESA的效率问题后，我们提出了其密集对应版本，即DMESA，采用密集区域匹配框架。DMESA能够基于块匹配实现区域匹配，而无需额外训练。在实验中，它可以在比MESA快近5倍的速度下建立具有竞争力的准确度的区域匹配，提供了更好的精度/效率权衡；2）我们在实验中观察到图像分辨率对特征匹配有实质性影响。因此，我们对此影响进行了深入分析，并得出了A2PM的改进配置。此外，我们在实验中彻底研究了图像分辨率，为我们的方法提供了更全面的评估；3）我们在实验中添加了一个稀疏点匹配基线，以证明我们的方法能够惠及所有现有的点匹配器类型。通过采用更具可重复性的实验设置，我们为之前的实验提出了新的结果，并在另外两个室内和室外数据集上进行了实验。此外，本版本中还进行了跨域泛化研究和模型微调影响的实验。
下面一起来阅读一下这项工作~
1. 论文信息
标题：DMESA: Densely Matching Everything by Segmenting Anything
作者：Yesheng Zhang, Xu Zhao
机构：上海交通大学
原文链接：https://arxiv.org/abs/2408.00279
代码链接：https://github.com/Easonyesheng/A2PM-MESA
2. 摘要
我们提出了MESA和DMESA这两种新颖的特征匹配方法，它们利用“万事皆可分割”模型（Segment Anything Model, SAM）来有效减少匹配冗余。我们方法的关键见解是，在点匹配之前，基于SAM的高级图像理解能力，建立隐式语义区域匹配。然后，具有一致内部语义的信息丰富区域匹配能够进行密集特征比较，从而促进精确的区域内点匹配。具体来说，MESA采用稀疏匹配框架，首先通过新颖的区域图（Area Graph, AG）从SAM结果中获取候选区域。然后，将候选区域之间的区域匹配问题表述为图能量最小化问题，并通过从AG派生的图模型来解决。为了解决MESA的效率问题，我们进一步提出了其密集对应物DMESA，应用密集匹配框架。在通过AG识别候选区域后，DMESA通过生成密集匹配分布来建立区域匹配。这些分布是通过使用高斯混合模型的现成块匹配生成的，并通过期望最大化进行细化。由于减少了重复计算，DMESA与MESA相比，速度提高了近五倍，同时保持了相当的准确性。我们在五个涵盖室内和室外场景的数据集上对我们的方法进行了广泛评估。推荐学习：国内首个面向具身智能方向的理论与实战课程
结果表明，在所有数据集上，我们的方法相对于五个不同的点匹配基线均表现出一致的性能提升。此外，我们的方法展现出良好的泛化性和对图像分辨率变化的鲁棒性。代码已公开在github.com/Easonyesheng/A2PM-MESA上。
3. 效果展示
4. 主要贡献
我们的工作做出了以下几项贡献：1）我们提出了利用SAM的高级图像理解能力来有效减少特征匹配中的冗余。为此，我们设计了两种方法，即MESA和DMESA，用于从SAM分割结果进行区域匹配，并最终提升特征匹配性能。2）在应用稀疏匹配框架时，MESA首先通过一种名为AG的新型图结构从图像中提取候选区域，该图结构对全局区域关系进行建模。然后，基于从AG派生的图形模型，MESA实现了精确的区域匹配。3）为了提高MESA的效率，我们进一步引入了DMESA，它利用密集框架在准确性和效率之间实现更好的平衡。DMESA通过在整个图像上生成密集匹配分布来实现区域匹配。这些分布来自现成的块匹配，这些块匹配通过高斯混合模型（GMM）进行建模，并通过有限步长的EM算法进行细化。4）在五个不同的数据集上进行的大量实验表明，我们的方法在各种点匹配器中，对于稀疏、半密集和密集匹配框架，均实现了显著的性能提升。此外，我们的方法还表现出显著的跨域泛化能力和对输入图像分辨率的优越鲁棒性，凸显了其实际应用价值。
5. 基本原理是啥？
6. 实验结果
表2总结了点匹配的结果。随后，我们主要根据点匹配器的类别对这些结果进行了分析。对于稀疏匹配器SP+SG（作为基线），我们观察到在所有三个输入尺寸下，我们的方法都实现了一致且显著的精度提升。我们的方法大幅超越了SGAM。MESA展现了最佳的整体性能，而DMESA也取得了令人印象深刻的结果。特别是，在480×480的小尺寸输入下，MESA/DMESA+SP+SG比640×640的大尺寸输入获得了更好的结果（MESA在MMA@20上的得分为56.87 vs. 56.29），这表明在较低的计算成本下实现了更高的精度，证明了其分辨率鲁棒性。
对于三个半密集匹配器，训练尺寸过拟合的现象较为明显，因为使用训练尺寸获得的结果显著优于其他尺寸。在两个正方形输入尺寸下，我们的方法在所有三个匹配器上都取得了显著的改进。然而，在训练尺寸下，MESA/DMESA+ASpan和MESA+LoFTR的精度有所下降。这部分原因可以归咎于Transformer对长宽比的敏感性，因为ScanNet的训练长宽比与A2PM获得的长宽比（原始图像固有）略有不同。尽管如此，我们的方法仍然改进了QT的结果并超越了SGAM。由于DMESA具有更高的区域匹配精度，因此其总体结果通常优于MESA。在所有输入尺寸下，DMESA的整体性能与MESA相当。考虑到其速度和灵活性，DMESA在效率和精度之间提供了更好的平衡。
对于密集匹配器，由于DKM的鲁棒性，过拟合问题相对较小。我们的方法在所有三个输入尺寸下都一致地提高了性能，并显著优于SGAM。此外，在小输入尺寸下，DMESA表现出了更优的性能。
表3报告了在ScanNet1500数据集上的姿态估计结果。与点匹配实验相同，我们在三种不同的PM输入分辨率下评估了姿态估计的准确性。对于稀疏匹配器，我们的方法能够在所有分辨率下持续且显著地提高姿态精度。值得注意的是，不同分辨率之间的精度差距很小。这表明，在点匹配器本身足够鲁棒的前提下，我们的方法可以在不同分辨率下提供稳定的改进。
对于A2PM框架中的半密集匹配器，除了MESA+LoFTR外，其他匹配器在训练分辨率下的精度均有所下降，这与点匹配实验的结果类似。这可能是由于在640×480分辨率下进行了过度的区域大小调整，从而削弱了A2PM的优势。然而，MESA和DMESA在其他方形分辨率下均显著提高了姿态精度。这种差异可以归因于Transformer模型固有的过拟合问题。为了提高精度，可以对这些匹配器在方形分辨率下进行微调，从而在该数据集上达到新的最先进水平（SOTA）。
ETH3D数据集中的图像对存在严重的运动模糊、光照变化和纹理缺失区域，导致姿态估计困难。结果总结在表4中。根据ETH3D中图像的分辨率范围，我们选择640×640作为大尺寸，480×480作为小尺寸。为了消除调整大小带来的失真，我们保持原始宽高比并使用零填充来达到方形尺寸。
对于稀疏匹配器，我们的方法显著提高了准确性。特别值得一提的是MESA+SPSG的性能，在480×480分辨率下，其AUC@20达到了48.85，高于640×640分辨率下的48.51。这证明了我们的方法增强了点匹配器的分辨率鲁棒性。对于三个半密集匹配器，我们的方法在两个不同分辨率下均一致地提高了点匹配的准确性。在较小分辨率下，原始点匹配器的性能显著下降，而我们的方法通过恢复大部分丢失的性能来有效缓解这一问题，实现了高达80.84%的相对改进。
MegaDepth作为我们基线方法的室外训练数据集。在MegaDepth1500基准测试中，我们选择832×832作为大分辨率，这与训练时使用的分辨率相同。同时，为了比较，我们还采用了480×480的小分辨率。为了避免缩放失真，我们采用了短边填充的方法。结果如表5所示。
对于稀疏匹配器，我们的方法在精度上实现了稳定且显著的提升，远超OETR。此外，MESA/DMESA显著缩小了不同分辨率之间的精度差距，这证明了我们的方法的有效性以及它们对分辨率变化的鲁棒性。
对于半密集匹配器，与室内训练数据集（ScanNet）上的结果不同，我们的方法一致且显著地提高了姿态精度。这可以解释为该数据集的训练分辨率是方形的，与A2PM框架非常吻合。因此，我们通过方法实现的精确区域匹配（AM）有效地减少了该数据集上的匹配冗余，最终提高了半密集点匹配器的性能。
对于密集匹配器，我们的方法在两个分辨率下都提高了姿态精度，在该基准测试上达到了新的最先进水平（SOTA）。考虑到DKM对AM的敏感性，这证明了MESA和DMESA的有效性。
7. 总结 & 未来工作
我们引入了MESA和DMESA方法，通过利用SAM（场景解析图）的一般图像理解能力来减少特征匹配中的冗余。虽然这两种方法都侧重于从SAM结果中建立区域匹配，但MESA遵循稀疏框架，而DMESA则采用密集方式。具体来说，我们首先提出了一种新颖的区域图（AG）来建模图像区域的全局上下文。基于该图，我们可以从图像中识别出具有显著语义的候选区域。随后，MESA利用从AG中导出的图形模型，在图上通过最小化能量来匹配这些区域。虽然MESA是精确的，但其稀疏性带来了效率挑战。为了克服这一限制，我们提出了DMESA作为密集区域匹配方法。DMESA从现成的块匹配中推导出区域匹配，这些块匹配通过高斯混合模型（GMM）进行建模。然后，在目标图像中为源区域生成密集匹配热图，以实现区域匹配。为了细化粗略匹配的准确性，DMESA进一步引入了循环一致性，并采用了有限步长的EM算法。我们的方法能够与属于稀疏、半密集和密集框架的PM基线进行集成。在广泛的实验中，MESA和DMESA在五个室内和室外数据集上一致且显著地提高了五个基线的性能。DMESA在保持竞争精度的同时，比MESA的速度提高了近五倍，提供了优越的精度/速度权衡。此外，我们的方法大大提高了对数据域和输入分辨率变化的鲁棒性，有利于下游任务。
接下来，咱们一起聊一聊这个沉淀了6年的3D视觉技术圈子。
一 什么是知识星球？
知识星球是一个高度活跃的社区平台，在这里你可以和相同研究方向的小伙伴一起探讨科研工作难题、交流最新领域进展、分享3D视觉最新顶会论文&代码资料、分享视频（讲解3D视觉重要知识点）、发布高质量的求职就业信息，承接项目等，当然还可以侃侃而谈，吐槽学习工作生活。
二 「3D视觉从入门到精通」知识星球
目前已有近5800多名活跃成员，主要涉及这五大方向：工业3D视觉、SLAM、自动驾驶、三维重建、无人机、具身智能、大模型方向。
细分方向众多，包括：相机标定、结构光、3DGS等三维重建、三维点云、缺陷检测、机械臂抓取、激光/视觉/多模态SLAM、自动驾驶、深度估计、模型部署、Transformer、3D目标检测、深度学习、视觉竞赛、硬件选型、视觉产品落地经验分享、学术&求职交流等。我们也会紧跟前沿科技发展，对于Mamba、具身智能、大模型等，在我们星球里也是热门讨论话题。
| 「3D视觉从入门到精通」知识星球特点 | ||
|---|---|---|
| 国内成立最早 | 近20门独家视频 | 3D视觉精华问答 |
| 最新顶会论文与代码分享 | 顶会作者直播 | 专业智囊团队答疑解惑 |
| 最新前沿技术研讨会，比如3DGS | 高质量项目对接 | 各个模块的源码梳理 |
| 最新行业招聘信息 | 求职面经 | 科研生活吐槽 |
| 行业最新模组分享 | 随时提问交流 | 每月积分榜奖励 |
三 星球内独家秘制课程
基础课程
3.1 高精度相机标定从理论到实战系统教程
3.2 ROS2从入门到实战视频教程
ROS2从入门到实战视频教程，从小白方式介绍到高阶使用讲解，对ROS2进行全面的实操教学训练，为大家提供系统性的学习机会。
3.3 四旋翼飞行器：算法与实战
工业3D视觉系列视频课程
3.4 基于面结构光三维重建系列视频
主讲老师团队包括:吴周杰博士、邓博、书涵、张琼仪、杨洋博士、郭文博博士等。
3.5 机械臂抓取、三维点云、三维重建等
3.6 3DGS三维重建直播研讨会
SLAM系列视频
3.7 如何轻松拿捏LIO-SAM?(提供注释版本代码)
3.8 彻底剖析激光-视觉-IMU-GPS融合SLAM算法:理论推导、代码讲解和实战系列视频
多模态融合 SLAM 的门槛较高，在需要视觉 SLAM 与激光 SLAM 的基础之外，还会遇到不同模态测量的融合，不同传感器的时间同步，多传感器的外参标定，多传感器异常检测等问题，使得各位同学做这块的时候遇到诸多障碍。因此我们联合机器人学国家重点实验室的博士大佬推出这门课程，从理论和代码实现两个方面对激光雷达-视觉IMU-GPS 融合的 SLAM 算法框架和技术难点进行讲解，并且博士大佬会根据自己多年的机器人工程经验，向大家讲解在实际机器人应用中多模态融合的方法和技巧。
3.9 ORB-SLAM3理论基础+关键技术详解
3.8 视觉-惯性SLAM:VINS-Fusion原理精讲
视觉-惯性SLAM所涉及的理论深度较深、覆盖面广，并对工程实践能力要求也较高，新手自学时相对比较困难。当下虽然有很多丰富的理论资料和优秀的相关开源项目，但是许多童鞋面对海量的理论资料、复杂的开源项目时可能无从下手，前期学习曲线过于陡峭，不得不放弃继续深入。为此，我们推出了《视觉-惯性SLAM的入门与实践》课程，结合VINS-Fusion 源码，系统地对视觉-惯性 SLAM 的基础理论知识进行梳理。整套课程由一线算法工程师教授，从基础理论到代码剖析，保姆级教学，助力学员一步步从小白成长为大牛。
自动驾驶
3.9 单目深度估计方法:理论与实战视频
视频教程主要分为两大部分：理论篇和实战篇，由于有监督方法的深度真值获取困难，且无监督方法的效果与有监督方法几乎相当，我们将课程的重心放在了无监督方法上。
其中，理论篇主要包括：深度估计相关的损失函数、评价指标等基础理论，传统深度估计方法、无监督深度估计方法等理论知识。实战部分包括：传统深度估计方法和深度学习方法，偏向于无监督深度估计以及相关应用等等。
3.10 自动驾驶中的深度学习模型部署实战视频
本视频教程将采用理论和实践相结合的思路，首先对TensorRT的编程模型以及GPU/cuda的相关知识进行讲解，带领大家达到知其所以然的程度；之后课程将用分类、检测、分割三个例子来展示详细编程流程，并给出相关代码，达到真正能落地的工业级分享。
3.11 面向自动驾驶领域的3D点云深度学习目标检测系列视频
本视频教程以3D点云深度学习为主，对Point-based和Voxel-based系列的3D目标检测网络架构进行系统剖析和代码梳理，助力各位同学在点云深度学习更快的入门和更深的理解。
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
3D视觉源码汇总
高质量项目发布与对接
最前沿顶会论文直播讲解
包罗了3D视觉行业模组
<<< 左右滑动见更多 >>>
最前沿论文速递
<<< 左右滑动见更多 >>>
专业的智囊团为星球成员答疑解惑
<<< 左右滑动见更多 >>>
海量的行业招聘信息&面经
<
,
,
>
精华问题500问
BEV&Occ
无人机
相位偏折术
三维重建
线结构光
面结构光
机器人路径规划
Tranformer
677
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
