初识colmap

一、comlap是什么

        COLMAP是一款开源的计算机视觉软件，主要用于从一系列二维图像中进行三维重建。它全称为“COLLISION-MAPping”，是一个高度集成的Structure-from-Motion (SfM) 和 Multi-View Stereo (MVS) 管道工具，由斯坦福大学开发和维护。COLMAP的主要功能包括特征检测与匹配、增量式SfM、多视图立体匹配以及优化。它能够从无序或有序的二维照片集合中恢复出三维场景的几何结构（点云）以及每张图像对应的相机姿态。此外，COLMAP还具有用户友好的界面和丰富的文档，使得使用和学习变得更加容易。

二、comlap中的关键技术SFM

        Structure-from-Motion（简称SfM）是一种计算机视觉技术，能够从一系列二维图像中恢复出三维结构和相机的运动。这种技术基于一个核心思想：通过分析在不同视角和时间点拍摄的图像序列，可以推断出物体和场景的三维形状以及相机的运动轨迹。

1. 图像预处理：这是SfM流程的第一步，旨在减少噪声、提高图像质量、消除图像畸变等。在图像预处理阶段，通常会进行相机校正以去除图像畸变，提高后续特征提取的准确性。此外，还会进行图像去噪，去除图像中的噪声，使用滤波算法如高斯滤波、中值滤波等。图像增强也是预处理的重要步骤，可以增强图像的对比度和亮度，使得特征点更容易被提取和匹配。
2. 特征提取与匹配：这是SfM中非常重要的步骤。目标是从图像中提取出能够唯一识别场景的特征点，并将这些特征点在不同图像中进行匹配。对于每个特征点，需要计算其描述子来表达其特征，以便在后续步骤中进行匹配。
3. 相机姿态估计：在SfM中，这一步骤是决定相机运动的关键步骤。其目标是估计相机的旋转和平移矩阵，从而确定相机在场景中的位置和朝向。这通常通过优化算法来实现，使得匹配的特征点在三维空间中的位置与二维图像中的位置尽可能一致。
4. 三维重建：通过三角化等方法来计算三维结构。具体来说，就是根据已经估计出的相机姿态和匹配的特征点对，通过三角测量原理计算出三维空间中点的位置，形成稀疏点云。这个稀疏点云表示了场景的基本几何结构。
5. 全局优化：为了提高重建的精度和一致性，通常会对整个重建过程进行全局优化。这包括对相机位姿、三维点坐标等参数进行微调，以最小化重建误差。

三、colmap论文：Structure-from-Motion Revisited

SFM的基本流程：

本文的创新部分：

1. 文章在特征提取与匹配阶段采用了新的策略。传统的特征提取方法主要基于外观进行匹配，而这篇文章利用RANSAC方法计算两两图像的基础矩阵和单应性矩阵，根据几何关系筛选出可靠性较高的匹配对。这种方法不仅提高了匹配的准确性，还增强了匹配的鲁棒性，使得在不同视角和光照条件下都能获得稳定的匹配结果。
2. 文章对增量式SfM的流程和算法进行了优化和改进。在初始化阶段，文章提出了选择合适的初始化图像对的重要性，并讨论了错误初始化可能导致的问题。在图像配准阶段，文章采用了新的三角化方法，提高了三角化过程的鲁棒性和效率。此外，文章还利用BA优化技术对重建的三维模型和相机姿态进行全局优化，进一步提高了重建的精度和一致性。
3. 文章还强调了增量式SfM方法在处理无序图像集合时的优势。传统的三维重建方法往往依赖于有序的或者具有特定拍摄方式的图像集合，而增量式SfM方法能够处理无序的图像集合，从而扩展了三维重建的应用范围。这使得从互联网上收集的照片、从视频中提取帧或者从无人机等移动平台上捕获的图像都能被用于三维重建。
4. 文章还提出了一种名为COLMAP的开源实现，为研究者提供了一个全面且易于使用的增量式SfM工具。

参考文章：https://blog.csdn.net/qq_29462849/article/details/118159653