开源库推荐——OpenMVG三维重建

shishi521

已于 2024-11-13 22:53:08 修改

阅读量1.4k

点赞数 12

分类专栏：三维相关开源项目文章标签：开源 3d

于 2024-11-12 11:20:28 首次发布

本文链接：https://blog.csdn.net/shishi521/article/details/143706865

版权

三维相关开源项目专栏收录该内容

2 篇文章

订阅专栏

1.概述

OpenMVG（Open Multiple View Geometry）是一个开源的多视角立体几何库，它在计算机视觉领域中用于处理多视角几何问题。这个库提供了一系列强大的接口，每个模块都经过测试，以确保一致和可靠的性能。OpenMVG的主要功能包括：

解决多视角立体几何的精准匹配问题。

提供SfM（Structure from Motion）所需的特征提取和匹配方法。

实现完整的SfM工具链，包括校正、参数估计、重建和表面处理等。

OpenMVG的代码设计简洁，易于维护，并且对Windows平台提供了良好的支持。它使用CMake进行构建，并可以通过Visual Studio打开生成的解决方案进行编译。在安装OpenMVG时，建议与OpenCV一起编译，以确保所有依赖关系正确设置。

OpenMVG的应用场景广泛，包括但不限于：

学术研究：对于计算机视觉领域的学者，OpenMVG是一个理想的实验平台，可以快速原型设计并测试新的理论和算法。

教育：在教学环境中，OpenMVG可以帮助学生理解多视图几何的基本概念，以及如何实现实际的3D重建。

应用开发：开发者可以利用OpenMVG的组件创建应用程序，例如AR/VR体验、无人机航拍的3D建模、建筑和考古遗址的数字化保存等。

三维重建（3D Reconstruction）：

OpenMVG能够从一组无序的图像中自动地恢复场景的3D结构。这通常通过Structure from Motion (SfM) 技术实现，该技术从图像序列中提取关键点，匹配这些点以估计相机位姿，并最终重建场景的稀疏点云。

结合Multi-View Stereo (MVS) 技术，OpenMVG还可以将这些稀疏点云扩展为稠密点云，进一步生成场景的完整3D模型。

机器人视觉（Robotic Vision）：

在机器人视觉导航中，OpenMVG可以帮助机器人通过多视角图像识别和理解环境。通过重建环境的3D模型，机器人可以更准确地定位和导航。

在自动抓取和操作中，OpenMVG可以用于识别物体的位置和姿态，使机器人能够更精确地抓取和操作物体。

增强现实（Augmented Reality）：

OpenMVG可以帮助在增强现实应用中更准确地跟踪和定位虚拟对象。通过重建真实世界的3D模型，可以将虚拟对象更自然地融入到真实场景中。

文化遗产保护（Cultural Heritage Preservation）：

OpenMVG可以用于从大量历史照片中重建文化遗产的3D模型。这对于保护、修复和展示这些文化遗产具有重要意义。

影视特效（Visual Effects in Film and Television）：

在影视制作中，OpenMVG可以用于从多个角度拍摄的素材中重建场景或物体的3D模型。这有助于在后期制作中添加更逼真的特效和动画。

自动驾驶（Autonomous Driving）：

在自动驾驶领域，OpenMVG可以帮助车辆通过多视角摄像头感知周围环境。通过重建场景的3D模型，车辆可以更准确地识别道路、车辆和行人等障碍物，从而做出更安全的驾驶决策。

遥感图像处理（Remote Sensing Image Processing）：

OpenMVG可以用于从卫星或航拍图像中重建地面的3D模型。这对于城市规划、环境监测和灾害评估等领域具有重要意义。

以上只是OpenMVG的一些应用举例，实际上它的应用领域非常广泛，可以根据具体的需求和场景进行定制化的开发和应用。

总之，OpenMVG是一个功能强大的库，适用于需要在多个视图中处理立体几何问题的开发者。通过其提供的接口和工具，可以实现从特征提取到几何重建的整个流程。

2.OpenMVS & OpenMVG 比较

OpenMVS 和 OpenMVG 都是计算机视觉中用于三维重建的开源库。两者都可以实现从图像集合中计算出相机位姿和三维点云，但它们的重点略有不同。 OpenMVG 主要关注于从输入图像集合中提取稠密的特征匹配，通过这些匹配计算相机的位姿和场景中的点云。它提供了一套完整的结构从运动（Structure-from-Motion, SFM）框架，包括图像处理、特征描述和匹配、相机标定、相机位姿估计等等。而 OpenMVS 则更加关注于基于密集的点云进行表面重建和纹理映射，从而得到高质量的三维模型。OpenMVS 可以接受 OpenMVG 的输出作为输入，进一步优化重建结果，并进行多个视角的三维模型融合。因此，可以说 OpenMVG 更加偏向于提取几何信息，而 OpenMVS 更加偏向于提取纹理信息。两者的结合则可以得到更为丰富的三维重建结果。

2.1OpenMVS

OpenMVS （Multi-View Stereo）是一个面向计算机视觉科学家的库，特别针对 Multi-View Stereo 重建社区。虽然有成熟且完整的开源项目针对运动结构管道（如 OpenMVG），可以从输入图像集中恢复摄像机姿势和稀疏 3D 点云，但没有一个项目解决摄影测量链流的最后一部分。OpenMVS 旨在通过提供一整套算法来填补这一空白，以恢复要重建的场景的整个表面。输入是一组摄像机姿势加上稀疏点云，输出是一个带纹理的网格。本项目涵盖的主要主题是：

密集的点云重建，以获得尽可能完整和准确的点云

网格重建，用于估计最能解释输入点云的网格表面

用于恢复所有精细细节的网格细化

网格纹理，用于计算清晰准确的纹理，为网格着色

2.2OpenMVG

Open Multiple View Geometry 开源多视图几何体

OpenMVG 提供从由库、二进制文件和管道组合的图像框架的端到端 3D 重建。

这些库提供了对以下功能的轻松访问：图像操作、特征描述和匹配、特征跟踪、相机模型、多视图几何、鲁棒估计、运动结构算法…

二进制文件解决了管道可能需要的单元任务：场景初始化、特征检测和匹配以及运动结构重建，将重建的场景导出到其他多视图立体视觉框架以计算密集的点云或纹理网格。

管道是通过链接各种二进制文件来创建的，以计算图像匹配关系，解决运动结构问题（重建、三角测量、定位）和…

OpenMVG 使用 C++ 开发，可在 Android、iOS、Linux、macOS 和 Windows 上运行。

SFM 运动结构恢复(Structure from motion)数十年来一直是计算机视觉领域的热门研究方向之一，实现了众多实际应用，尤其在近景三维重建中，该算法从获取的目标物系列影像出发，最终获取较高精度的目标物稀疏三维点云。

2.3OpenMVG 数据结构

OpenMVG 围绕三种数据结构进行阐述，称为 SfM_Data、Regions(区域)和 PairWiseMatches。

SfM_data 数据结构是一个通用容器，用于存储以下对象之间的关系：

Views 图像文件名和对相机内部和姿态的引用

Intrinsics 相机内部参数

Poses 姿态摄像机外部参数

LandMarks 3D 结构（3D 点及其可见性信息）

struct SfM_Data

{

Views views; /// reference to the used images (each image link to a pose and intrinsic camera id)

Poses poses; /// poses data (indexed by view.id_pose)

Intrinsics intrinsics; /// intrinsics camera data (indexed by view.id_intrinsic)

Landmarks structure; /// Structure (3D points with their 2D observations)

...

};

Regions 数据结构是用于存储图像描述的通用容器：

Features (point-based)

Descriptors (可以是标量向量或二进制值)

PairWiseMatches 数据结构用于存储一对图像之间相应特征的索引。

注意：

SfM_data/Views 是唯一的，而 Intrinsics 和 Poses 可以共享。

SfM_Data结构 IO 可以是 JSON/XML/BINARY，以简化与工具的互操作性，也可以是 PLY（仅输出）以实现可视化。

OpenMVG 管道围绕两个主要概念进行阐述：

Abstract Data Providers

Features_provider

Regions_Provider

Matches_Provider

Abstract Processing Engines

ReconstructionEngine

API 允许轻松实现新管道并使用用户想要利用的任何数据格式。

以下是 OpenMVG 数据结构、数据提供程序、二进制文件和管道系统的概述：

3安装

使用vcpkg安装openmvs时，会同时安装openmvg。

vcpkg install openmvs:x64-windows

4使用

openmvg就是从获取的目标物系列影像出发，最终获取较高精度的目标物稀疏三维点云，即生成SFM。

4.1.c# OpenMVG 开发

由于OpenMVG本身是一个C++库，直接在C#中使用OpenMVG的原生代码并不直接可行，因为C#和C++有不同的运行时和内存管理机制。然而，你可以通过几种方式在C#项目中利用OpenMVG的功能：

使用C++/CLI包装器：

你可以创建一个C++/CLI（Common Language Infrastructure）包装器，该包装器将OpenMVG的C++ API暴露给C#。C++/CLI允许你在C++代码中使用.NET功能，并且可以作为C#和C++之间的桥梁。你可以创建包装类来封装OpenMVG的功能，并通过C++/CLI导出这些类供C#使用。

使用P/Invoke：

P/Invoke（Platform Invocation Services）是.NET框架提供的一种机制，允许C#代码调用非托管代码（如C++ DLL）。你可以将OpenMVG编译为DLL，并使用P/Invoke在C#中调用这些DLL中的函数。这需要对C++和C#的互操作性有深入的了解，并且需要手动处理数据类型转换和内存管理。

使用第三方包装器或绑定：

如果OpenMVG社区或第三方开发者已经为C#创建了OpenMVG的包装器或绑定，那么你可以直接使用这些现成的解决方案。这通常是最简单和最直接的方法，但可能需要依赖外部库或项目。