CVPR 2025 MINIMA：首个通用多模态图像匹配架构（模型、数据已全部开源）

关注公众号，发现CV技术之美

论文信息：

• 论文链接：https://arxiv.org/abs/2412.19412

• 代码链接：https://github.com/LSXI7/MINIMA

• 在线demo：https://huggingface.co/spaces/lsxi77777/MINIMA

摘要：

跨视图、跨模态图像匹配是多模态融合感知中的核心问题之一，具有重要实际意义。然而，由于不同成像系统或风格所引发的模态差异，该任务面临严峻挑战。现有方法通常专注于提取特定模态的不变特征，并依赖有限规模的数据集进行训练，其泛化能力十分有限。

为解决上述难题，本文提出一种统一的多模态图像匹配框架——MINIMA。该方法摒弃了复杂模块设计的传统思路，转而从数据扩增的角度出发，旨在全面提升模型的通用性能。

为此，我们设计了一种简洁高效的数据引擎，能够生成包含多种模态、丰富场景以及精确匹配标签的大规模数据集。具体而言，通过引入生成模型，我们将廉价且易于获取的RGB匹配数据扩展至其他模态类型，从而有效继承原始RGB数据集中丰富的匹配标签和多样性。基于此，我们构建了大规模合成数据集MD-syn，填补了当前多模态图像匹配领域的数据空白。

实验结果表明，借助MD-syn数据集，现有的匹配模型能够轻松获得强大的跨模态匹配能力。我们在涵盖视觉、遥感、医学等多个领域的19种跨模态匹配任务中进行了全面测试，结果显示MINIMA框架可显著提升基准方法的综合性能及零样本泛化能力，最高提升幅度可达98%。此外，在某些模态任务上，我们的方法甚至超越了特定模态的专有方法。

文章亮点：

首个跨模态统一匹配框架MINIMA：一次训练即可适配视觉、遥感、医学等多领域的19种跨模态场景。

首个大规模多模态匹配数据集MD-syn：对标Megadepth，利用生成模型构建数据引擎，自动生成4.8亿对高质量跨模态图像对，同时涵盖稠密匹配标签，为多模态图像匹配研究填补了数据空白。

行业应用新突破：MINIMA在真实多模态场景中可显著提升基准方法的性能，为多模态感知任务提供了全新的技术基础，可用于多源多模态图像配准、融合感知、多模态定位导航、3D生成等任务。

整体结果展示：

图1. 真实数据集上MINIMA整体性能表现。左图展示了不同方法在多个数据集上的准确率（AUC），右图总结了稀疏、半稠密和稠密匹配管道的整体性能。MINIMA大幅提升了基准方法的跨模态能力。

图2. MINIMA在医学、遥感、视觉真实跨模态匹配结果，每组左为特征匹配，右为像素对齐后结果。

MINIMA实现细节

MINIMA 框架分为两大核心模块，如图所示：

1.数据生成引擎：以 MegaDepth 数据集为基础，利用数据引擎生成包括红外（Infrared）、深度（Depth）、事件（Event）等在内的多种模态数据。生成的数据在模态多样性和场景覆盖性上均优于现有数据集。

2.匹配模型训练：采用“预训练 + 微调”的两阶段策略。第一阶段在多视角 RGB 数据上进行预训练；第二阶段在生成的跨模态数据上进行微调，快速适应多模态任务。

如下图所示。由于不同模态之间的差异性，直接在MD-syn上重新开始训练需要较大代价，而从单一可见光数据训练的模型可以提供良好的匹配先验，从而使多模态微调过程快速收敛。

论文其他图表结果

消融实验和视觉定位应用实验结果

红外图像生成结果

总结

MINIMA框架通过数据生成技术和高效的模型优化策略，成功填补了通用跨模态图像匹配领域的数据与模型空白。所构建的MD-syn数据集和统一匹配框架不仅显著提升了匹配性能，还大幅降低了研究成本。MINIMA为多模态感知相关应用提供了强有力的支持，具有广阔的研究与应用前景。

最新 AI 进展报道请联系：amos@52cv.net

END

欢迎加入「图像匹配」交流群👇备注：CV