论文《Flexible Three-Dimensional Reconstruction via Structured-Light-Based Visual Positioning and Gl》学习

Flexible Three-Dimensional Reconstruction via Structured-Light-Based Visual Positioning and Global Optimization

Abstract

(2019 二区)利用线结构光视觉系统进行三维重建,通常与平行导轨推扫装置等运动约束装置配合使用。在本研究中,我们提出一种消除运动约束的视觉定位方法。提出了一种扩展的正交迭代视觉定位算法,以获得线结构光双目相机系统在运动过程中的精确位置。该算法利用双目摄像机获取的信息,比传统的视觉定位算法具有更好的定位精度。在此基础上,提出了一种全局优化方法来计算相机在每个拍摄位置相对于世界坐标系的姿态。该算法有效地减少了视觉定位过程中的误差积累和位姿漂移,通过提出的自由移动线结构光视觉系统可以测量曲面的三维信息。仿真和物理实验验证了该方法的有效性,并证明了该方法在重建精度上的显著提高:当测试距离为1.5 m时,点云的均方根误差在0.5 mm以内。

关键词: 三维重建;立体视觉;结构光;姿势估计;全局优化

1. Introduction

视觉测量广泛应用于工业测量领域[1 - 5]。基于视觉的结构光测量方法可以有效地提高测量精度。结构光在表面重构、视觉导航和工件检测等领域越来越受欢迎[6 - 9]。结构光有多种形式,如点结构光、线结构光和面结构光。点结构光表面重建效率低,仅适用于几种特殊场景。表面结构光有多种形式,如基于光栅相位的正弦条纹结构光和基于灰度编码时间序列的编码结构光。表面结构光由数字光处理(DLP)投影仪投射。由于投影仪的功率限制,表面结构光通常更适合于室内小工件的高精度重建,而不适用于大型表面和室外场景。线结构光强度强,可投射到远距离;因此,其应用非常广泛。线结构光在重建测量表面时通常需要一个推扫运动。传统的结构光推杆装置多采用平行导轨。然而,在很多情况下,不适合使用导轨来限制线结构光的应用。因此,针对这些问题,我们利用视觉定位算法去除了滑道的限制,提出了一种基于双目摄像机和结构光的表面重建方法。该系统通过大功率线性激光投影仪将线结构光投射到被测表面,通过视觉定位算法获得运动轨迹。此外,为了获得系统在运动过程中的准确姿态信息,提出了一种适用于双目相机系统的扩展正交迭代算法。此外,我们提出了一个全局优化算法来计算相机在每个拍摄位置相对于世界坐标系的姿态。通过系统的位姿信息,恢复世界坐标系中结构光条纹的坐标,进而得到被测物体的表面形貌。

2. Related Work

视觉测量技术可分为主动测量法和被动测量法两大类。被动方法不依赖于立体视觉测量等照明技术[10 - 12]。立体视觉方法通过从不同角度拍摄的照片重建被测物体的表面形貌,主要过程包括图像预处理、特征点匹配、空间点云坐标计算。然而,当物体表面纹理信息不足时,立体视觉方法无法提供准确的重建结果。相反,主动视觉方法主要依赖于结构光,如线结构光和编码表面结构光[13,14]。前者广泛应用于焊缝检测、钢轨磨损检测等工业非接触测量领域。Wang等人【15】提出了一种利用线结构光来测量轨迹轮廓的方法。与传统的测量方法相比,该方法利用多线结构光以及激光平面上特征点的共线性和平行约束对结构光进行标定,避免了结构变化引起的测量误差。此外,通过将光带投影到轨道截面图上,解决了系统振动引起的轮廓变形误差。Li等人【16】描述了一种利用线结构光进行焊缝检测的方法。本文描述了一种详细的视觉测量模型,并针对焊接过程中的电弧反射情况提供了相应的图像处理方法。利用空间和时间约束算法去除干涉点,通过高斯滤波和线性插值精确提取激光条纹。Li等人【17】利用双目结构光系统对道路车辙进行了重建研究。利用二维目标对结构光进行标定,提取光条纹重构车辙。为了综合评价车辙参数,提出了一种利用车辙支撑点提取车辙深度和面积的方法。Usamentiaga等人的[18]描述了一种主要用于振动场景的线结构光三维重建方法。利用提取出的多线结构光条纹对物体轮廓信息进行重构,得到物体的振动模式。通过数学建模去除振动信息。在实验中,比较了多线结构光和双线结构光的减振效果。实验结果表明,双线结构光比多线结构光效果好。此外,关于线结构光的标定方法也有大量的研究。Xie等人【19】介绍了一种结构化光校准方法。本文以激光平面与网格线目标的交点为特征点,计算系统的内外参数。有两类特征点。首先是共线特征点,利用交比不变性原理计算目标坐标系中特征点的坐标。第二种是非共线点。通过三坐标测量机的多次运动获得非共线点,将特征点的坐标转换为三坐标测量机的坐标系,求解系统的内在参数和外在参数。Liu等人【20】介绍了一种适用于复杂光环境的线结构光标定方法。使用两个直径相同的平行圆柱体进行校准。将线结构光投射到柱面上,并捕获光带图像。利用拟合方法得到了图像中光带的椭圆方程,利用透视投影模型建立了交点线与图像日食的关系。在椭圆短轴等于圆柱直径的约束下,求解了光学平面方程。

同样,编码的结构化光的应用也非常广泛:例如,用结构化光编码来标记被测对象[13]的表面。标定后,计算出物体表面的深度信息,重建出物体表面[21,22]。颜色编码的结构光使用颜色信息来标记物体的表面。该方法的优点是可以从一幅图像中获得物体的表面深度信息。然而,当物体的颜色或反射率与结构光的颜色发生干涉时,重建精度就会受到影响。序列投影技术通过投影仪将一系列图案投射到物体表面,包括正弦条纹、二进制码和灰色码[23 - 25]。对物体表面各点的灰度编码信息进行解调,得到相应的投影仪像素坐标。这样,就可以重建深度信息。然而,不连续的物体表面或非漫反射表面降低了正弦条纹法的测量精度。二值码和灰度码技术对物体表面特征不敏感,具有较高的可靠性。然而,为了获得高的空间分辨率,需要投影多个模式,因此,这些方法只适用于静态测量场景。

3. System Architecture and Optimization Algorithm

提出的结构光表面重建系统由双目摄像机和大功率线结构光投影仪组成。利用被测物体表面光带的推扫运动重建被测物体的表面。利用双目摄像机对系统的运动轨迹进行恢复,获取结构光信息。传统的视觉结构光系统多依赖于平行导轨。这些系统被固定在一个平行的导轨上以扫描被测物体。由于导轨的运动速度和运动方向已知,可以确定结构光系统的运动信息。根据该运动信息,将提取的光带坐标转换为世界坐标系,得到被测物体的表面形貌。推扫系统的另一种形式是视觉结构光系统是固定的,被测物体由导轨驱动,匀速运动,根据被测物体的运动模式,通过拼接光条获得表面形貌。由于上述方法需要导轨,因此在应用场景上存在重大限制,使其不适合室外场景或大型表面重建。

为了解决这些问题,本研究提出了一种不受滑道限制的自由运动的结构光重建系统。它适应各种场景,因为高功率的线结构光。系统架构如图1所示。当移动时,双目摄像机捕捉到结构光条纹。同时,采用帧间配点法恢复系统在世界坐标系中的位姿信息,得到系统的运动轨迹。利用系统的运动位姿参数将各位置的光带恢复到世界坐标系;这样就可以得到曲面的形貌。
在这里插入图片描述

3.1. System Localization Method

自由运动结构光推杆系统的关键技术是系统运动轨迹和姿态信息的恢复。运动姿态恢复精度直接影响重建精度。为了获得精确的运动姿态信息,设计了一种扩展的正交迭代算法。传统的正交迭代算法[26]只适用于单目相机,而扩展的正交迭代算法则充分利用了双目信息进行姿态计算。正交迭代算法主要用于协同目标的姿态测量。在计算过程中,需要知道目标坐标系中特征点的坐标。在传统的算法中,人工标记点必须被张贴。该算法利用图像特征点代替人工标记点,对特征点进行跟踪。利用双目摄像机的外部参数计算出系统坐标系中各匹配点的三维坐标。通过对匹配点集的跟踪,利用扩展的正交迭代算法计算了系统在不同位置之间的相对位姿。为了获得每个射击位置相对于世界坐标系的系统姿态,设计了全局优化算法。该算法有效地减少了计算过程中的误差积累和运动轨迹漂移问题。

3.1.1. Extended Binocular Orthogonal Iterative Algorithm

提出的扩展正交迭代算法适用于双目系统。与传统的正交迭代算法相比,该算法可以同时利用左右摄像头观测到的特征点,大大增加了计算中特征点的数量,有效提高了算法的鲁棒性。在提出的扩展双目正交迭代算法中,将左右摄像头共线误差之和定义为迭代的误差函数。两相机共线误差原理如图2所示。
在这里插入图片描述
我们将左侧相机的相机坐标系作为系统坐标系,将左侧相机的光学中心定义为系统坐标系的原点。基于正交迭代算法[26],定义左相机观测特征点 p i p_ i pi的空间共线性误差为:
在这里插入图片描述
其中 V l = v l v l T ( v l T v l ) V_ l = v_ l v_l^ T (v^ T_ l v _l) Vl=vlvlT(vlTvl)是沿视线的投影矩阵; v l v_ l vl表示特征点的归一化图像坐标, p i p_ i pi表示特征点在目标坐标系中的坐标,R和t分别表示系统坐标系和目标坐标系之间的转动矩阵和平移向量,I表示单位矩阵。

为了计算右相机的共线性误差,并与左相机的共线性误差保持一致,需要将右相机观测点的坐标和右相机视线上的投影矩阵转换为系统坐标系。通过标定相机的外部参数,可以得到相机右坐标系相对于左坐标系的转动矩阵和平移向量。在图2中, R c 和 t c R_c和t_c Rctc分别表示两个摄像机之间的转动矩阵和平移向量。另外,我们假设右相机的光学中心为 O r O_ r Or,右相机观测到的特征点在系统坐标系中的坐标为 q i q _i qi。系统坐标系中的向量 O r q i O_ r q_ i Orqi表示如下:
在这里插入图片描述
v r v _r vr表示空间点 p i p_ i pi投影到右相机归一化相平面上的像点坐标,则系统坐标系中向量 O r v r O_ r v_ r Orvr的坐标表示为:
在这里插入图片描述
右相机在系统坐标系中沿视线的投影矩阵表示如下:
在这里插入图片描述
右相机观测到的点 p i p_ i pi空间共线性误差的目标函数为:
在这里插入图片描述
当左侧摄像机观测到n1个特征点,右侧摄像机观测到n2个特征点时,扩展正交迭代算法的目标函数表示为:
在这里插入图片描述
将右相机坐标系中的矢量参数转换为系统坐标系后,右相机 e r e_r er的共线性误差函数与左相机 e l e_l el的共线性误差函数形式相同。然后利用[26]中的方法求解上述方程。参考正交迭代算法的求解过程,当目标函数最小时,R矩阵和t向量为系统相对于对象坐标系的位姿。

3.1.2. Calculation Proacess of Localization Algorithm

在系统定位过程中,利用图像匹配点作为标记点进行姿态估计。定位过程如下:

  • Step1: 提取并匹配双目相机当前位置左右图像的ORB特征[27]。
  • Step2: 通过RANSAC算法[28]去除不匹配项。
  • Step3: 利用双目摄像机的外部参数,用三角法计算出当前位置特征点的三维坐标,并保存这些坐标生成三维点集。
  • Step4: 通过特征点跟踪法提取当前三维点集对应的下一个位置(或另一个位置)捕获图像的ORB特征点。
  • Step5: 基于当前三维点集和匹配的像素坐标点左边和右边的图像的下一个位置(或另一个位置),当前和未来的相对姿态位置(或其他位置)是由扩展正交迭代算法计算了部分3.1.1。
  • Step6: 重复步骤1至5,得到系统在每个相邻位置的相对位姿。当我们将第一个位置的系统坐标系统定义为世界坐标系统时,系统相对于世界坐标系统的每个位置的位姿可以由系统在每个相邻位置之间的相对位姿得到。

3.2. Light Stripe Extraction and Splicing Method

利用Steger算法提取结构光条纹[29,30]。Steger方法可以提取结构光条纹的亚像素信息。在提取光条纹之前,使用Fusiello算法[31]对左右图像进行极外校正。纵向整流后,相应的光条纹的垂直坐标点下左边和右边的图像变得一致,对应点的光条纹左右图像方便地确定,和空间三维坐标点的带使用三角测量法计算。

在得到每个位置的光带点云后,根据每个位置的系统位姿信息,将光带恢复到世界坐标系中,重建地表形貌。利用3.1节中的方法计算双目结构光系统在不同位置的位姿信息。

R和t分别表示计算出的系统坐标系统相对于世界坐标系统在不同位置的转动矩阵和平移向量。世界坐标系中光带点的坐标用 P i P_i Pi表示,三角法计算出的系统坐标系中光带点的坐标用 P j P_j Pj表示,建立如下关系:
在这里插入图片描述
由上式可得世界坐标系中光带点的坐标,进而可得被测表面的点云。

在计算过程中,内部参数和外部参数都要进行校准。我们使用棋盘格目标对摄像机进行标定,并使用MATLAB[32]的标定工具箱对这些参数进行标定。由于在计算过程中涉及到很多参数,我们总结了预校准参数和未知参数如表1所示。
在这里插入图片描述

3.3. Global Optimization Algorithm of Pose Estimation

系统在两个相邻位置之间的相对位姿按3.1.2节的方法计算。第一个位置的系统坐标系统称为世界坐标系统。根据系统在相邻位置之间的相对位姿,可以依次计算出系统在每个拍摄位置相对于世界坐标系的位姿。这种位姿计算方法在增量式三维重建中得到了广泛的应用。在该方法中,系统在世界坐标系中的姿态取决于前一位置的姿态精度;然而,这可能导致错误积累。全局优化算法有效地避免了这一问题。全局优化算法的思想是将所有相关的框架基于匹配点和计算相对坐标系统这个词在一个统一的框架,可以有效地抑制造成的累积误差增量重建方法和显著减少系统定位误差在世界坐标系统在每个位置。

3.3.1. Global Optimization Method of Rotation Matrices

为了获得精确的位姿计算结果,分别对转动矩阵和平移向量进行了优化。旋转矩阵的全局优化思想是在参考[33]的基础上提出的。我们假设相机在位置 i i i处相对于世界坐标系的转动矩阵为 R i R_i Ri。相机在位置 i 和 j i和j ij之间的相对转动矩阵是 R i j R_{ ij} Rij。当在位置 i i i和位置 j j j处拍摄的图像有一定数量的匹配点时,系统在两个位置之间的旋转矩阵 R i j R_{ ij} Rij可以通过扩展的双目正交迭代算法计算出来,如3.1.1节所述。我们可以得到以下公式:
在这里插入图片描述
其中 r i 1 , r i 2 和 r i 3 r_ i^1, r_ i^2和r_ i^3 ri1,ri2ri3表示矩阵 R i R_i Ri的三列,
在这里插入图片描述
将式(9)重新排列为以下线性方程组:
在这里插入图片描述
利用扩展的正交迭代算法得到位置i与位置j之间的相对位姿 R i j R_{ ij} Rij时,旋转 R i j 、 R i 、 R j R_{ ij}、R_ i、R_ j RijRiRj可以写成式(10)。这些方程可以写进一群已经决定线性方程Ax = 0的形式,其中x是旋转矩阵的三列的组合系统的相对世界坐标系统,和一个由相对旋转矩阵 R i j R_{ ij} Rij I 3 × 3 I_{3\times 3} I3×3的单位矩阵。通过求解线性方程,用最小二乘法计算出系统相对于世界坐标系的旋转矩阵 R i R_ i Ri。为了保证旋转矩阵 R i R_ i Ri的正交性,使用SVD[34]将近似旋转投影到弗罗本尼乌斯范数中最近的旋转,从而强制求出正交性约束。令R的奇异值分解为 U S V T USV ^T USVT,则Frobenius范数中最接近的正交矩阵为 R ′ = U V T R ' = UV ^T R=UVT。用R '代替R 可以得到精确的旋转矩阵。这样,系统在每个相对于世界坐标系的位置上的旋转矩阵通过所有相关位置的相对旋转矩阵来求解。该方法有效地利用了冗余位姿信息,减少了测量噪声的积累,提高了定位精度。在本研究中,我们使用线性方法求解方程,然后使用奇异值分解来保证旋转矩阵的正交性。该方法计算效率高,适用于计算资源有限的情况。当计算资源充足时,可以采用拉格朗日乘子法以正交约束作为惩罚因子来计算方程组。

3.3.2. Global Optimization Method of Translation Vectors

在系统相对于世界协调系统的矩阵关系的基础上,引入了平移向量优化方法。假设位置 i i i处相对于世界坐标系的系统平移向量为 c i c_i ci,位置 i 与 j i与j ij之间的相对平移向量为 t i j t_{ij} tij。然后得到如下表达式[35]:
在这里插入图片描述
在这里插入图片描述
当在位置i和位置j处拍摄的图像有一定数量的匹配点时,系统在两个位置之间的相对平移向量可以通过3.1.1节中扩展的双目正交迭代算法来计算。平移向量可以重新排列成式(13)。所有的方程可以组合获得一群过多的线性方程Ax = b的形式,其中x是由叠加所有翻译参数 c i c_ i ci,组成的矩阵是一个单位矩阵 I 3 × 3 − I 3 × 3 I_{3×3}−I_{3×3} I3×3I3×3,和b是一个列向量中的元素组成的 R j − 1 t i j R^{−1}_j t _{ij} Rj1tij。利用最小二乘法求解上述方程,得到了系统在各位置相对于世界坐标系的平移向量 c i c_i ci。因此,系统在每个位置相对于世界坐标系的平移向量由所有相关位置的相对平移向量求解;有效地利用了冗余的翻译向量信息,有效地抑制了误差积累。

R i 和 c i R _i和c _i Rici按上述方法计算后,得到系统各位置相对于世界坐标系的位姿矩阵 [ R i c i 0 1 ] \begin{bmatrix}R_i & c_i\\ 0 & 1\end{bmatrix} [Ri0ci1]。得到所有的位姿矩阵后,我们使用结果作为初始值,并使用bundle平差来优化所有的位姿。利用3.2节所述的算法,可以恢复条纹在世界坐标系中的坐标,重建表面形貌。

4. Experiment Results

4.1. Simulation Experiment of the Extended Binocular Orthogonal Iterative Algorithm

通过仿真和物理实验对该方法进行了验证。首先,验证了自由运动推杆表面重建系统定位方法的稳定性和鲁棒性,我们设计一个仿真实验比较的精度提出了延长双目正交迭代算法与传统的正交迭代算法,其中传统的正交迭代算法是实现通过使用3D点左边及其投影相机。仿真实验中使用的两个摄像头有相同的固有参数,设定为16毫米焦距,图像分辨率为1280×1024像素,像素大小是4.8µm×4.8µm,和主点在图像中心。参考正交迭代算法[25]的仿真模型,在[0,15]×[0,15]×[0,15]×[0,15]的空间中均匀选取64个点,构成目标的特征点集。将特征点分为两组,分别投影到两个摄像机的像面上,生成成像点,每组48个点。扩展的正交迭代算法可以同时利用左右摄像头的成像信息,而传统的正交迭代算法只能利用左摄像头的成像信息。所有成像点均加入0 ~ 2像素的十阶高斯噪声。在实验中,三个旋转角α,β和γ形成旋转矩阵R从均匀分布是随机生成的。每个噪音水平进行了500次测试。利用三个欧拉角的均方根误差(RMS)来评估旋转的准确性:
在这里插入图片描述
其中 N表示数量的测试中,α’,β’,γ’表示计算结果,α,β,γ表示真正的价值观。图3对比了提出的定位算法和传统的正交迭代算法在10级图像噪声下的精度。图4比较了两种算法在0.2像素图像噪声水平下,在不同距离下的精度。图4中的横坐标表示相机与目标之间的距离与目标大小之比: tz/16。
在这里插入图片描述
在这里插入图片描述
实验结果如图3所示,在各个噪声水平上,本文提出的扩展正交迭代算法在旋转和平移精度上均优于传统的正交迭代算法。例如,在2个像素的噪声水平下,传统正交迭代算法的均方根旋转误差为0.12 rad,而扩展的正交迭代算法的均方根旋转误差小于0.08 rad。传统正交迭代算法的平移误差为0.09 mm,而扩展正交迭代算法的平移误差小于0.03 mm。此外,随着图像噪声的增加,扩展正交迭代算法的旋转和平移误差明显低于传统方法。从图4中两种算法的误差曲线可以看出,随着距离的增加,误差有增大的趋势,与传统算法相比,扩展的正交迭代算法的误差明显减小。以上实验结果表明,由于双目系统的可用信息比单目系统多,因此在相同噪声水平下,本文提出的双目定位算法优于传统的正交迭代算法。随着距离的增加,定位精度逐渐降低,但扩展正交迭代算法的定位精度高于单目正交迭代算法。

4.2. Simulation Experiment of Global Optimization Algorithm

传统增量式定位方法的一个典型特点是相机在世界坐标系中不同位置的姿态依赖于前一架相机的姿态精度,容易导致误差积累。而全局优化算法有效地解决了这一问题。为了验证本文提出的全局优化算法的可靠性,进行了仿真实验。试验过程中,用双目摄像机进行推扫动作;共移动30个位置,相邻位置之间的相对位姿为已知值。提出的算法和增量算法都用于计算相机在每个位置相对于世界坐标系的姿态。经计算,两种方法均通过束平差进行了优化。为了进一步验证算法的鲁棒性,在相邻位置的相对位姿中加入了高斯噪声。在第一个模拟实验中,在任意两个相邻位置之间的相对位姿的三个欧拉角上加入了一个方差为0.1◦的高斯噪声。将全局优化算法与增量优化算法进行了比较。实验进行500次,计算两种方法在不同位置的均方根误差;轮换的评价方法与4.1节相同。仿真结果如图5所示。
在这里插入图片描述
在第二次仿真实验中,将方差为5 mm的高斯噪声加入到任意两个相邻位置之间的相对位姿的三个平移中,以验证全局优化算法的鲁棒性。将全局优化算法的结果与增量算法的结果进行了比较。实验进行了500次,图6为计算值的RMS误差和摄像机姿态在世界坐标系中不同位置的真实值。

上述仿真实验表明,增量法往往会产生较大的漂移误差。随着推扫运动的进行,旋转和平移的误差逐渐增大。全局优化算法有效地避免了误差的传递和累积。由图5可知,在噪声干扰下,增量法在第30位的角度误差达到0.28 rad,而全局优化法的误差始终在0.15 rad以内。同样,图6显示增量法的误差是逐级传递的;增量法在第30位的位置误差为4.3 mm,而全局优化算法在第30位的位置误差始终在1.5 mm以内。
在这里插入图片描述

4.3. Free-Form Surface Reconstruction Experiment

为了验证上述方法和过程的正确性,我们使用了一个高精度的月面模型。实验装置如图7所示
在这里插入图片描述
实验中使用的月球模型尺寸为0.5 m×0.5 m。实验中使用的摄像机的图像分辨率为1280×1024像素,像素大小是4.8µm×4.8µm,焦距是12毫米。激光波长为532 nm,功率为150 mW,可视距离为2 m时,轮廓宽度小于1 mm。

首先对双目系统进行标定,标定结果如表2所示。结构光条纹投射到模型上,双目结构光系统进行推扫运动。双筒照相机实时捕捉图像。使用第一位置的系统坐标系作为世界坐标系,在运动过程中一共拍摄了78张图像。采用扩展双目正交迭代算法对系统相邻位置的姿态信息进行恢复,并根据3.3节的算法对系统进行全局优化。从而得到系统在世界坐标系中每个位置的位置。在世界坐标系中,左侧相机前23个位置的姿态信息如图8a所示。根据3.2节所述的方法,利用恢复后的相机位姿恢复光带的位置。恢复后的光带和左侧相机位姿在世界坐标系中的位置如图8b所示,图9为点云三角化和曲面拟合后的地表形貌效果图。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
图8b显示恢复后的光带清晰连续,3D点间平均间距为4.9 mm。平均而言,在整个表面上有73,582个3D点,在单一的光条纹上有943个3D点。通过对重建表面的旋转和缩放观测,发现重建结果与地形表面细节吻合较好。在7万多个三维点中,整个曲面外的gross-error点数非常少,重建精度很高。在下一节中,我们使用一个平面校准板来定量评估重建的准确性。

4.4. Evaluation Experiment of Reconstruction Accuracy

在第4.3节所述的实验中,我们通过对自由曲面模型进行重构,验证了所提算法和步骤的正确性。在本节中,我们设计了一个实验来评估重建的精度,其中重建了一个平面校准板,并通过光带上三维点的平面度来评估重建的精度。本实验使用的结构光系统与4.3节实验使用的结构光系统相同。平板校准板尺寸为60cm×60cm,系统在平板1.5 m处进行自由推扫运动。实验过程中,从运动系统中获取13张结构光图像,采用立体视觉定位法恢复系统在世界坐标系中的姿态;据此得到了光带的位置。采用增量法和全局最优法进行系统姿态恢复。图10为未使用全局优化方法的标定板重构曲面:图10a为世界坐标系中光带恢复位置,图10b为三角剖分、曲面拟合后的曲面。
在这里插入图片描述
图11为采用全局优化方法重建后的板材表面:图11a为世界坐标系中光带的恢复位置,图11b为经过三角剖分和曲面拟合后的平面模型。从图10和图11可以看出,在使用全局优化算法之前,曲面的波动较小,而全局优化后的曲面更加平滑,平整度更好。
在这里插入图片描述
我们还使用浅条纹上的3D点来量化平面度的大小。扫描共生成9942个3D点,每个光带平均生成764个3D点。我们利用9931个点来拟合板平面,并计算每个点到拟合平面的距离。以反映平面度的计算结果(见表3)作为评价重建和优化精度的依据。

由表3可知,采用全局优化算法前,三维点到拟合平面的最大距离为2.32 mm,平均距离为0.76 mm,均方根误差为0.9052 mm。采用全局优化算法后,根据数据,三维点到拟合平面的最大距离为1.51 mm,平均距离为0.43 mm, RMS误差为0.4177 mm。数据表明,采用全局优化算法后,重建平面的精度有了明显提高。
在这里插入图片描述
全局优化前后13条光带上三维点与拟合平面之间距离的均方根误差如图12所示。优化前的均方根误差较大,且随淡条纹数的增加而增大。这与全局优化前姿态误差逐渐累积的解释是一致的。整体优化后精度明显提高,各条带的误差均小于0.5 mm。由于测量距离为1.5 m,相对误差为0.03%。实验结果表明,该算法是准确的,优化后的测量结果得到了明显的改善。
在这里插入图片描述

4.5. Discussion

该方法的特点是使系统能够自由移动。提出了一种消除运动约束的视觉定位方法。通过各种优化方法,实现了运动轨迹的精确恢复。需要注意的是,当待处理图像数量较大时,3.3.1节中矩阵A的维数较大,可能会导致计算效率下降。矩阵A的维数与图像的数量和从这些图像中获得的相对姿态的数量有关。假设共拍摄n张图片,利用3.3.1节中的方法,我们得到了n张图片中m个相对旋转矩阵,a矩阵的维数为9m×9n。但是我们可以看出矩阵A是稀疏的,所以我们参考[33,34]中的方法,利用MATLAB中的Eigs函数来计算线性方程。MATLAB的Eigs函数适用于求解大维稀疏矩阵,能在一定程度上解决这一问题。在实验中,我们在i7 4790 CPU, 6gb RAM的桌面上运行MATLAB 2014b中的所有代码,照片数量小于100张,计算效率没有明显降低。

为了更清晰地展示该方法的优点,我们将其与现有方法进行了对比分析。Wang等人使用称为TRITOP的标准工业3D扫描仪进行三维重建。由于扫描仪的测量范围较小,所以在被测对象上附加一些人为的标记点来扩大扫描范围。在本研究中,测量距离为300mm时,误差为0.05 mm,相对误差为0.016%。Yang等人使用双目系统捕获投影仪投射出的线结构光模式,并使用二次曲线法提高精度。该方法的相对误差为0.26%。该方法的相对误差为0.03%。从以上的对比中我们可以看出,本文方法的准确度接近于[1]的方法,但远高于[25]的方法。但是,[1]中的方法需要在物体表面粘贴人工标记来扩大测量范围,操作过程比较复杂。相比之下,我们提出的方法更容易操作。

5. Conclusions

提出了一种基于双目结构光的自由曲面重建方法。为了获得更好的实际效果和保证重建精度,提出了一种改进的系统定位和姿态优化方案,并针对该系统设计了一种扩展的正交迭代算法。与传统的正交迭代算法相比,该算法充分利用了双目匹配信息,更适合双目定位系统。针对推扫过程中误差积累的问题,提出了一种全局优化方法,仿真结果表明,扩展的双目正交迭代算法提高了相邻帧间姿态估计的精度。全局优化方法统一了世界坐标系中各坐标系的姿态,有效地避免了推扫过程中漂移误差的积累。设计了自由曲面和平面标定板的物理实验,验证了该方法的正确性。实验结果表明,当系统距离待测表面1.5 m时,均方根误差由0.9 mm减小到0.4 mm。这说明全局优化算法能够有效地抑制位姿计算的误差,并且所提出的方案具有精确重建物体表面的能力。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值