稠密点云重建MVS——基于多视角深度图像


前言

稠密点云重建主要介绍利用多视角的RGB图像重建三维模型的方法,主要包括三种:基于体素、基于深度图像、基于空间patch。
本节将介绍基于深度图像的三维模型重建算法。利用多帧RGB图像计算获得深度图像,实现三维模型重建。
(为了保证文章的完整性,一些简单的基本概念在文末给出,如有需要可以参照)


一、整体流程*

输入多帧同一场景不同视角RGB图像,选取其中一帧或几帧图像作为参考图像,利用输入的多帧图像恢复参考图像的深度和法向量信息,获得参考图像的深度图和法向量图。最后对恢复的参考图像进行融合。
(怎么从多帧RGB图像中恢复其中某几帧图像的深度和法向量信息呢?要知道一帧图像里包含了非常多的像素,要对绝大部分像素的深度与法向量进行恢复看起来似乎不可能。其实大体思想是:对输入的图像进行稀疏3D点云重建,获得特征点的三维信息,只要将这些点投影到参考图像上,就可以恢复这些特征点在参考图像上对应像素的深度信息,那么接下来就是利用区域生长的思想以这些像素点为中心,确定优化方法,逐步将他们周围点的信息恢复)
请添加图片描述

1、预处理部分

  • 稀疏3D点云重建(SFM)
    检测输入的每帧图像特征点,并进行特征点匹配,通过匹配的特征点恢复相机的内外参数(相机内参:焦距、径向畸变系数,相机外参:相机的位姿R,t),重建特征点的空间3D坐标。
  • 全局视角图像序列选取
    从输入图像中选一帧作为参考图像。通过一些指标在输入图像中筛选出符合要求的图像。这里我们希望筛选出来的图像和参考图像,它们相邻图像视场之间的拍摄视场角合适(相邻图像视场角太小会导致基线短,重建误差大,视场角太大则两张图差异太大也难以重建成功)。选取方法详细介绍见本文第二部分算法原理。
    在这里插入图片描述
    2、深度图像生成
  • 种子点选取
    从获得的3D点云中,筛选出那些可以投影到参考图像上的3D点,并且该点能投影到至少1帧其他全局视场图像(有些点按照投影模型无法投影到参考图或其他图的成像面上)。
  • 种子点深度与法向量信息恢复
    将3D点投影到参考图像上,以3D点到参考图像相机坐标系原点的距离为投影点像素初始深度,3D点到相机坐标系原点的方向为初始法向量。
    上面获得了像素点的深度与法向量的初始值,我们需要对这些像素点的深度和法向量进行优化。以这些投影像素点为中心建立正方形模板,将每个模板里的所有像素投影到空间3D坐标中,以一个模板为例,再次把一个模板里的3D点投影到其他视角的图像上获得投影的像素点,优化像素点的深度与法向量信息使得在参考图像上的模板与在其他视图上的模板投影差异尽可能小。详细优化算法见本文第二部分算法原理
    为什么要建立模板,只是为了求它的法向量吗?其实为了衡量参考图像上的这个像素点与其他图像上像素点的相似性,仅凭一个像素点难以很好的表征,所以才引入了模板来表征中心像素点区域的特征,而参考图像与其他图像的模板特征的差异是优化深度和法向量信息的关键。
  • 其余像素点深度与法向量信息恢复
    计算种子点优化后结果的置信度,参考下文基本概念光度一致性——衡量两个模板的相似程度,按照置信度高低建立队列,对队列中的点进行优化,并将这些点的周围点加入队列中。如下图左图所示,把黄色种子点深度和法向量值赋给相邻的上下左右四个像素点,作为他们的深度和法向量初值。并将这些点加入队列进行优化。
    如下图右图所示,当前优化完的种子点(绿色)四周有已经被优化过的点(红色),和未被优化过的点(蓝色),比较绿色点与红色点的置信度大小,如果绿色点的置信度高,则把绿色点的信息赋给红色点。
    在这里插入图片描述
    3、三维稠密点云
    根据深度图每个像素的深度,利用相机的逆投影矩阵可以将深度像素点投影到三维空间,获得3D点云。思路很简单,具体实现可以参考一些其他文章。

二、算法原理

1.全局视角图像序列选取方法

2.局部视角图像序列选取方法

2.深度与法向量优化算法

请添加图片描述


基本概念

极线搜索——查找图像中某个像素点在另一帧图像的对应像素点

参考图上某个像素点的空间3D点必定在该点与相机中心的连线上。那么该空间3D点在另一帧图像上的成像像素必然是3D点与相机2中心的连线与图像相交处。所以如果我们需要搜索参考图像上的某个像素点与另一帧图像上哪个像素点是同一个点,只需要搜索下图中的极线(Epipolar line)即可。
根据对极几何原理我们知道极线的表达式计算方法:
在这里插入图片描述
在这里插入图片描述

光度一致性——衡量两个模板的相似程度

好了,上面极线搜索说到可以在另一帧图像上极线经过的像素范围内,搜索参考图像的对应点,那么,当我们查找到了一对对应点,应该用一个指标来衡量这个查找的可信程度(置信度),这里我们以参考图像上的这个像素点和找到的另一个像素点为中心建立分别一个模板,两个模板越相似,则这对点越有可能是正确的对应点。这里我们引入光度一致性来衡量两个模板的相似程度,这里我们常用归一化互相关(NCC)来衡量他们的相似程度。

  • 22
    点赞
  • 151
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: 稠密重建(MVS,Multiple View Stereo)是指从多个视角图像中恢复出场景的三维几何信息。常见的MVS方法包括基于特征点匹配的方法、基于体素的方法和基于深度学习的方法。 首先是基于特征点匹配的方法。这种方法首先从多个视角图像中提取出特征点,如SIFT或SURF特征点。然后通过特征点之间的匹配,计算出相机的投影矩阵,进而计算每个像素的深度值。常见的算法有PatchMatch和SfM(Structure from Motion)。 其次是基于体素的方法。这种方法将场景划分成许多体素(3D像素),然后根据相邻视角中的像素值和纹理信息,通过采样和插值等技术,进行重建。体素方法相比特征点方法可以更细致地重建场景,但计算开销较大。常见的算法有VoxelCarving和3D Delaunay三角剖分。 最后是基于深度学习的方法。近年来,深度学习方法在MVS中取得了显著的进展。这种方法利用深度学习模型,直接从图像中估计深度信息。通过训练大量的带有深度标签的图像对,网络能够学习到从图像深度的映射关系,从而实现场景的重建。常见的算法有MVSNet和GANet等。 综上所述,稠密重建的几种方法分别基于特征点匹配、体素和深度学习。不同方法有各自的特点和优缺点。特征点匹配方法适用于场景中存在明显特征点的情况;体素方法能够更精细地重建场景,但计算开销较大;深度学习方法可以直接从图像中学习深度信息,但需要大量的训练数据。根据具体的应用场景和要求,可以选择适合的方法来进行稠密重建。 ### 回答2: 稠密重建(MVS)是一种计算机视觉技术,用于从一组多个图像中恢复场景的几何和外观信息。稠密重建是3D重建的一种形式,它试图在场景的每个像素位置上估计一个深度值或3D坐标。 实现稠密重建的方法有几种,包括: 1.三角化方法:三角化是通过在多个视角下计算像素对应的3D坐标来进行稠密重建的一种方法。它基于基本几何原理和相机几何关系,并使用多个图像之间的匹配信息来计算3D位置。然后,通过对所有视角的三维点进行融合,可以得到稠密的3D重建。 2.基于立体匹配的方法:这种方法使用两个或多个视角图像对之间的区域匹配来进行稠密重建。它通过计算图像中的像素间的位移或视差来估计深度或3D坐标。最常用的匹配方法是通过计算图像中的匹配成本,如像素间的差异,来找到最合适的匹配。然后,通过将视差映射到3D空间中,可以得到稠密的3D重建。 3.基于结构光或纹理投影的方法:这种方法使用结构光或纹理投影来捕捉场景的深度和纹理信息,并进行稠密重建。结构光方法是使用特殊的投影系统,如激光或投影仪,来投射结构化光模式或纹理,以获得场景的深度信息。然后,通过将深度信息与图像投影进行重建,可以得到稠密的3D模型。 总之,稠密重建是通过分析多个图像之间的几何和外观关系,计算像素的深度或3D坐标来实现的。三角化、基于立体匹配和基于结构光或纹理投影是几种常见的实现稠密重建的方法。这些方法在不同的应用和场景中有各自的适用性和限制性。 ### 回答3: 稠密重建(MVS)是一种计算机视觉技术,旨在通过多个图像或视频帧恢复物体的三维模型和纹理。下面是几种常用的稠密重建方法的详细解释: 1. 基于多视图立体匹配(MVS):这种方法通过在多个视角下捕获被重建场景的多张图像,并通过立体匹配算法计算场景中每个像素点的深度信息,从而恢复出场景的三维结构。该方法的优点是可以利用大量的图像信息来提高稠密重建的准确性,但缺点是计算复杂度较高。 2. 基于结构光:结构光是通过投射具有特定结构的光纹或光束,然后通过图像传感器进行捕捉,并通过计算来恢复三维表面形状和纹理的一种方法。这种方法适用于需要高精度的稠密重建,例如面部识别和三维扫描等应用。 3. 基于光场摄影:光场摄影是一种捕捉物体完整光场信息的技术,通过记录光线的强度、方向和位置,以及场景中的深度信息来实现。这种方法可以获得高质量的稠密重建结果,并在计算机图形学和虚拟现实等领域得到广泛应用。 4. 基于深度学习:近年来,深度学习在计算机视觉领域取得了显著的进展,对于稠密重建也有很大的应用潜力。通过使用神经网络等深度学习技术,可以自动学习场景的三维结构和纹理模型,并生成高质量的稠密重建结果。这种方法的优点是可以在大规模数据的基础上快速进行稠密重建,但缺点是需要大量的标注数据来进行训练。 总结来说,稠密重建的几种方法包括基于多视图立体匹配、结构光、光场摄影和深度学习等。选择适合的方法取决于具体应用场景的需求,如准确性、速度和成本等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值