《Hybrid-quality-guided phase fusion model for high dynamic range 3D surface measurement 》

Hybrid-quality-guided phase fusion model for high dynamic range 3D surface measurement by structured light technology

摘要

利用结构光测量高动态范围(HDR)表面的三维形状一直是一个具有挑战性的问题，不同曝光的多组图像融合被认为是一个有效的解决方案。它倾向于选择灰度强度最大且不饱和的相位作为最终相位，存在两个问题:1)选择标准过于简单，无法充分评价相位质量;2)受图像噪声、相机非线性响应、局部反射等因素的影响，初始相位中质量最好的相位也可能存在误差。针对这些问题，本文提出了一种混合质量引导相融合(HPF)模型。在该模型中，首次提出了一种混合质量度量，以更全面地评价相位质量。然后，在混合质量测度的指导下，对所有初始相位进行加权融合，得到一个更精确的相位作为最终相位。通过该模型可以重构出更完整、更精确的HDR曲面三维形状，并通过多次实验验证了该模型的有效性。

1、介绍

结构光三维测量因其良好的稳定性和优异的测量速度，已广泛应用于工业生产的缺陷检测、废弃物分类、参数优化等诸多方面[1-5]。然而，由于相机设备动态范围的限制，汽车外壳、发动机叶片等高动态范围(HDR)表面物体的三维形状测量一直是一个具有挑战性的难题[1,6]。

许多基于结构光技术的HDR三维测量方法已经得到了深入的研究。这些方法可分为单最佳测量(SBM)和多最佳测量融合(MMF)两类。SBM方法试图通过自适应投影[7-9]和深度学习[10-12]等额外的处理，在单次测量中获得完整的重建。它可以快速获取数据，但需要较长的准备时间，并且效果远不能令人满意。MMF方法试图通过获得不同曝光[13-17]、投影强度[18-21]、偏振滤光片[22-24]等参数的序列图像合成HDR图像，实现三维重建。与SBM相比，MMF测量时间更长，但操作更简单，精度更高。
在实际应用中，MMF中的多重曝光融合(MEF)方法在测量变反射率表面时更简单、更有效，它尝试根据最大和不饱和的准则在曝光序列中选择像素来实现HDR成像。
在后续的相位融合过程中，合成的HDR条纹图像中每个像素的灰度值都要从相同曝光的图像中选择[13]，即相位计算的像素来自相同曝光。该操作的实质是根据最大和不饱和的原则，选择单个曝光时间下的相位作为最终熔相。因此，最终相位的准确性取决于选择标准和多次曝光的初始相位。
为了获得准确的相位值，研究人员尝试寻找更合适的质量度量作为选择标准或设置更合适的曝光，以获得良好的初始相位。
Jiang等[14]通过设置一系列初始候选参数，投影均匀照明的图像，选择合适的曝光。此外，还提出了一种选择最大调制和不饱和像素的准则。其效果取决于人工经验选择的初始候选参数。Zhong等[25]提出了在30 ~ 220强度范围内选择像素的准则，以减少摄像机非线性响应的影响。Feng等[22]提出了一种基于反射率直方图的曝光自动生成算法。Rao等[26]根据直方图的调制选择曝光。但直方图分布只适用于反射率类别分布显著的物体，可能会产生遮挡效应。
Zhang[16]通过先投影一张均匀的白色图像，在低曝光条件下确定最优曝光，然后以使最后的最小值成为该曝光的最大值的原则寻找下一个曝光。其实际效果取决于设定的阈值和预校准精度。总的来说，这些方法可以获得强度最大的不饱和HDR条纹图像，如图1(a)所示。

图一MEF和HPF的本质区别。(a)、(b)分别是MEF和HPF的原理图。图中的黄色、紫色和绿色网格表示多曝光相位图中相同位置的像素。在MEF中，根据最大不饱和原则选择单个曝光相位图中的相位作为最终融合相位。在HPF中，对多曝光相位图中相同位置的相位进行加权融合以生成融合相位。

然而，由于摄像机的非线性响应[27]、图像噪声和局部反射的影响，仅选取灰度强度最大的非饱和条件下获得的像元，在相位计算上也可能存在较大误差。在二维成像中，为了减少这些误差，在融合图像中保留更多的局部细节和对比度，人们开发了许多HDR技术中的加权融合方法，而不是替代方法[28-31]。然而，在结构光3D成像中，如前所述，直接在HDR图像中进行加权融合会导致后续相位计算出现误差。
本文提出了一种混合质量导向的相位融合(HPF)模型，在多曝光相位图上直接进行不同权重的融合，以获得更精确的相位，如图1(b)所示。在该模型中，首先系统分析相位误差的来源，提出一种更全面的混合质量度量，对多曝光相位图中每个像素的良好曝光和局部反射率等理想度量进行编码。然后，利用混合质量度量对初始相位进行加权融合，得到一个更精确的相位作为最终相位。通过该模型，可以在相同的初始数据下重建更完整、更精确的三维点云。
本文的其余部分组织如下:第2节解释了支持所提出模型的原理和具体实现方法;第3节给出了各种实验结果，以验证所提出模型的性能;第4节对本文进行总结。

2、原则

2.1 结构光下的相机成像模型

在结构光三维测量中，如图2所示的相机成像模型可表示为

式中，I为图像像素的强度，α为相机的灵敏度系数，t为相机的曝光量，β为被测物体的反射系数，I^p为投影仪的光强，I^a1为被测物体反射的环境光，I^a2为直接进入相机的环境光，µ为相机的噪声误差。

图二 结构光技术中的相机成像模型。深蓝线是指投射光在击中被测物体后直接反射到相机内，浅蓝线是指被测物体反射或直接进入相机内的环境光。
考虑投影图像是一系列相移量恒定的正弦条纹图像，将上述公式简化修改后，图像的灰度分布可以表示为:

其中I_n为第n幅条纹图像的强度，A为平均强度，B为调制强度，ϕ为相位值，δ_n = 2π(n−1)/ n为相移，n为相移量，下标x, y为图像中的像元(x, y)。相位ϕ_x,y可以用

Eq.(3)中的arctan函数得到:ϕ_x,y∈[−π， π]。因此，需要进行相位解包裹，获得连续的相位图P，进行立体匹配，恢复三维结构。

2.2 HPF模型

如前所述，普通方法只在灰度级进行像素替换，因此HDR条纹图像得到的相图可以表示为

式中P^F为融合相图，P为多次曝光的源相图，Mask表示是否选择相位，下标x, y, k表示第k次曝光相图中的像素(x, y)。当像素强度或调制最优地满足定义的标准时，Mask_x,y,k为1，否则为0。该方法可以通过多次曝光获得不饱和条件下高灰度强度的相位。但是，受相机非线性响应、图像噪声和局部反射的影响，最终相位的精度和稳定性仍不能得到充分保证。
与原始条纹图像的像素替换相比，本文强调在相位图上直接进行不同权值的融合。权重由曝光度、局部反射率和相位梯度平滑度等混合质量测度给出。这样可以提高相位计算信噪比，抑制摄像机的非线性响应，减小局部反射误差，使相位更加平滑。HPF模型的整体工作流程如图3所示。从多组条纹图像、调制图和相位图中，分别计算混合质量测度中基于不同质量测度的权重，生成最终权重。用于引导聚变过程的最终权重W可以表示为

式中，M、E、C分别为良好曝光率、局部反射率和相位梯度平滑度，对应的“加权”指数为ω_M、ω_E和ω_C。Mask是指用于去除严重过饱和数据以保证融合稳定性的Mask矩阵，其计算原则是相位计算中过饱和像素个数不能超过设定的阈值(如2)。为了得到一致的结果，我们对最终权重映射的值进行归一化，使其在每个像素(x, y)处之和为1，因此HPF模型可以表示为

选择三种质量措施的具体原因及计算方法如下:
良好曝光： 良好曝光主要分为两个方面:图像噪声和相机的非线性响应。对于图像噪声，结构光技术中经典的质量度量是调制强度，如式(2)所示。调制强度越大，图像噪声对相位计算的影响就越小。针对摄像机的非线性响应，在HDR二维成像领域提出了许多权重评价方法，如帽形函数[32]等。其中一种经典方法是使用高斯曲线(Gauss curve)对每个归一化强度i进行加权[29]:exp(−(i−0.5)²/2σ²)，其中exp是自然指数函数，σ是经验设定的常数值。该方法可以很好地评估单个像元的强度，但不能同时评估参与相位计算的多个像元。因此，在此方法的基础上，我们使用最佳范围内的像素数与所有像素的比率来测量相机的非线性响应。

图三：HPF模型的整体工作流程。ME是多重曝光。该模型由四个部分组成。首先，获取多曝光图像作为输入;接下来，相位图和调制图可以通过输入数据计算。然后，根据输入数据和预处理数据计算不同因素的权重映射。最后，通过多曝光相位图和最终权重图对融合相位图进行归一化和融合。

因此，结合这两个方面，良好曝光的计算可以表示为、
其中q是用于相位计算的N个像素中强度超过设定范围的像素个数，在我们的实现中σ = 0.4。通过Zhong等人[25]提出的工作，可以将强度范围设定为30 ~ 220。

Local reflectance： 如图4所示，像素的强度受到周围区域光反射的影响，影响的大小取决于局部位置的形状和光强。此外，由于投影条纹图像的相位不同，不同图像中同一像素周围的面积对当前像素的影响也不同。因此，当使用普通的相机成像模型而不考虑局部反射进行相位计算时，特别是当局部位置的光强变化较大时(如过暗或过曝光区域的边界过渡位置)，会产生误差。为了更好地评价相位质量，我们在已有的相机成像模型中引入了局部反射，并分析了其规律。为了评估局部反射，我们提前做了两个假设，简化了计算。假设:(1)局部区域的相位Ω沿梯度方向(n_x, n_y )均匀变化，可表示为:ϕ_x+u,y+v -ϕ_x,y = ϕ_x,y - ϕ~x - u,y - v~，其中(x +u,y+v)为图像坐标系(x + i, y+ j)在局部相位梯度坐标系中的坐标。局部相位梯度坐标系以(x, y)为中心点，(nx, ny)为x轴正方向。(2)局部区域内到像素相同距离的反射系数Ω相同，可以表示为r_x+u,y+v = r_x−u,y−v, r为周围像素到期望像素的反射系数。

图4局部反射图。深蓝色实线和点表示像素的实际对应光线和位置。虚线表示从周围局部区域反射到像素的光。
通过这两个假设，受局部面积影响的实际光强Inr应改写为

式中P为多次曝光的源相位图，下标x, y为相位图中的像素(x, y)， θ为图像坐标系到局部相位梯度坐标系的旋转角度，Ω为所选局部区域范围。因此，实际相对相位应写成

由于相位在梯度方向上均匀变化，可得(i, j)∈Ω， ϕ_x+u,y+v - ϕ_x,y = ϕ_x,y - ϕ~x - u,y - v~。因此，根据三角函数转换公式，Eq.(11)应为

同时：

其中Ω+为i>0且(i, j)∈Ω的区域，β = arctan(M₂/M₁)为相位误差。通常情况下，相位误差比较小，所以这里只考虑[︂−π/2， π/2]︂之间的误差。本文将Ω设为5*5,r用高斯函数模拟，表示为ru，在我们的实现中，v = 1/2πσ² exp(−(i + j)²/2σ²)， σ = 1。因此，局部反射的质量度量可以表示为

**相位梯度平滑：**以上两种质量度量都是从相位计算时可能出现误差的角度进行评价，而缺乏对相位本身的直接评价。一般来说，如果某一像素点的相位梯度与周围像素点的相位梯度不一致，则可能会产生较大的计算误差，如图5所示。
因此，需要在模型中加入相位梯度平滑，以引导局部区域的最终相位梯度更加平滑。它可以表示为

其中L为拉普拉斯算子，G为抑制噪声影响的高斯算子，*为卷积的符号。为了更好地描述周围区域的变化，对L使用八邻域算子，因此L可以表示为


图5 相位梯度与重构点云的比较。(a)为左相机的相位梯度图;(b)为对应的重构点云。
其中S是拉普拉斯算子的大小，在我们的实现中S = 5。G可以表示为

其中σ决定高斯核的宽度，在我们的实现中σ = 1。

3、实验

为了验证所提出的模型的性能，我们开发了一个测量系统，包括两个CCD相机(型号:Basler ace acA1300-30gm)，连接8mm镜头(型号:RICOH FL 0814A-2M)和一个数字光处理(DLP)投影仪(型号:DLP4500)。投影仪和摄像机的分辨率分别为912 × 1140和1296 × 966。三个质量指标的权重分别设为ωM = 1， ωE = - 0.5， ωC = - 0.5。在大多数实验中，除非另有说明，我们都采用20次曝光作为实验参数。本文的计算机CPU型号为Intel酷睿i7- 10700k。当曝光次数为20次时，从原始条纹图像(图像个数:20 * 12 * 2 = 480)到重建点云的序列计算时间总计约为12.2s(HPF)和2.4s(MEF)。

3.1 精度评价

为了更全面地评估模型的测量精度，我们使用标准球杆和台阶块来评估距离、球度、平整度、平面高差等多个指标。用三坐标测量机对标准球杆和步进块的标准值进行了校核。

首先用a、B两个陶瓷球组成的标准球棒进行测量，如图6(a)所示。A和B的球度分别为0.9µm和1.3µm。中心A与B之间的距离为200.118 mm。在重建标准球杆后，由于球点云独立存在，采用最小二乘法对球的所有点云进行球拟合。然后计算两个球的中心与球度之间的距离，如图6(b)所示。
绝对测量误差ε_dis = |Lm_−Ls~|及球拟合标准差

作为评价指标，其中L_s为中心A与B之间的标准距离，L_m为测量距离，dis_i为第i点到拟合球体的距离。为了保证测量结果的稳定性，我们采用单曝光、MEF和HPF三种方法从十个不同位置对标准球棒进行测量，并对测量结果进行统计分析，如图6©所示。此外，球面拟合误差图如图7所示，可以清楚地看出HPF模型比MEF模型得到的数据更精确。
标准球棒的测量数据如表1所示。三种方法的ε_dis均值误差相似，但该模型的标准差误差最小，为0.0101。根据两个球的平均值，该模型的平均误差约为MEF方法的75%。可以看出，与MEF相比，该模型可以实现更小的距离误差和球度误差。此外，ε_std的std误差约减小到MEF方法的38%，表明所提出的模型具有较好的稳定性。

然后，使用由a和B两个台阶平面组成的台阶块进行测量，如图8(a)所示。台阶块采用铝合金材料，平面A、B的平整度分别为0.0101 mm、0.0106 mm。A平面与B平面高度差为20.1095 mm。与标准球杆不同的是，它的侧面重构点云很难完全去除。直接将所有的点云拟合到平面上将会导致很大的误差。因此，只选取中间区域的部分点云进行平面拟合，如图8(b)所示。
以绝对平面高差误差ε_height = |H_m−H_s|和平面拟合标准差

作为评价指标，其中disi为第i点到拟合平面的距离，Hs和Hm分别为平面A和B之间的标准高差和测量高差。

在本实验中，平面拟合和高差分析都是通过Geomagic软件进行的。与标准球棒相似，我们同样采用三种方法对台阶块进行了十个不同位置的测量，并对测量结果进行了统计分析，如图8©所示。平面拟合误差图如图9所示，可以清楚地反映出HPF模型比MEF模型能得到更精确的数据。此外，我们进一步分析了单列重建点云的误差，如图10所示。可以看出，该方法得到的误差较小，曲线更光滑。

图6 标准球杆的统计分析。(a)用于评价测量精度的标准球棒;(b)标准球杆重建点云。©十个不同位置重建点云的误差分析，std为球体拟合的标准差，误差条为对应数据项的std误差。

图7 给出了单曝光、MEF、HPF三种方法的球面拟合误差图。(a)和(b)分别为球面a和球面b的误差分析。

表一 标准球棒测量结果对比(单位:mm)。

图8 台阶块的统计分析。(a)用于评价测量精度的步进块;(b)阶块重建点云;©十个不同位置重建点云的误差分析，Std为平面拟合的标准差，误差条为对应数据项的Std误差;(d)平面拟合误差图

图9 给出了单曝光、MEF、HPF三种方法的平面拟合误差图。(a)和(b)分别为平面a和平面b的误差分析。

图10 单柱点云误差分析。(a)为左侧相机在均匀蓝光照射下拍摄的图像，曝光时间为30ms;(b)为(a)中红线(460列，233-733行)的误差分析。
台阶块的测量数据如表2所示。与标准球杆一样，三种方法的ε_height均值误差相似，但该模型的标准差最小，为0.0163。该模型的平均误差约为MEF方法的82%。根据两平面的平均平面度，ε_std方法的ε_std误差约为MEF方法的45%，进一步验证了所提模型的稳定性。

表二台阶块测量结果对比(单位:mm)。

3.2 三维形状测量

通过测量具有HDR表面的汽车钣金件，验证了该方法的有效性。首先，我们比较了MEF和HPF在相同多次曝光时间下得到的重建点云，如图11所示。图11(a)为30 ms均匀光照下捕获的图像，重构结果如图11(b)所示，可以明显看出过暗或过曝光情况下的重构结果并不理想。MEF和HPF在相同多次曝光下的测量结果如图11©和(d)所示。可以看出，两种方法都可以通过多次曝光获得更完整的点云，但与MEF相比，本文模型可以更好地重建完整的三维点云数据，包括较暗区域和过饱和区域。如图12所示，本文提出的模型更加稳定，可以获得准确的数据，保证细节清晰。

然后，我们在固定最短曝光时间和最长曝光时间的前提下，改变曝光次数，对比MEF和HPF获得的重建点云，如图13和图14所示。均匀蓝光照射下曝光时间最短和最长的图像分别如图13(a)和©所示。如图13(b)和(d)所示，当曝光次数增加时，MEF方法的重建结果并不能得到明显改善，有些区域甚至可能出现恶化。相反，随着曝光次数的增加，HPF的重建效果越来越好。相应的，当数目较少时，例如4,HPF可以得到比MEF更好的结果，但改善不是很显著。当曝光次数更大时，例如19次曝光，HPF可以得到更完整和准确的结果，并且有明显的改善。该实验清楚地表明，所提出的HPF比MEF在更少的曝光下获得更好的效果。

图11 汽车钣金件的重构结果。工件从左至右依次为c柱后加固板、发动机托架下板、后隔板、c柱后段内板。(a)均匀蓝光下曝光时间为30 ms的图像(b)单次曝光时间为30 ms的结果©和(d)分别是MEF和提出的HPF模型在相同多次曝光时间下的结果。

图12 结果的特写视图如图11©和(d)所示。

4、总结

综上所述，本文提出了一种混合质量导向的相位融合高动态范围目标全重建模型。该模式的主要价值体现在以下两个方面。

1. 更全面的相位质量措施。该模型不仅分析了相位误差与相机非线性响应、图像噪声等因素的关系，而且给出了具体的质量指标，可以更直接、更全面地评价相位精度。此外，这些质量度量除了用于本模型之外，还可以用于MEF、多投影融合、偏振滤波等其他方法。
2. 数据更加准确稳定。与传统方法相比，该模型在混合质量测度的指导下，通过加权融合得到更精确、更稳定的相位。因此，在相同的初始数据下，可以获得更完整、更准确的点云。除此之外，在最短曝光时间和最长曝光时间固定的前提下，该模型也可以在较少曝光的情况下获得比MEF更好的结果。
   在未来，我们将进一步探索相位误差的影响因素，如过饱和和纹理，以提高相位精度