《Improving the quality of stripes in structured-light three-dimensional profile measurement》论文解读

Abstract

用编码结构光测量高动态范围(HDR)反射率的物体，捕获的条纹通常会受到反射率的严重扭曲，导致测量结果不准确。针对这一问题，提出了一种条纹增强方法。该方法基于条纹相位和强度之间的对应关系。首先，利用相移算法和多重曝光法提取条纹图像的相位图，消除条纹图像的饱和和低对比度;然后对条纹调制进行归一化处理，消除反射率的影响;最后，通过调制和相位图的组合得到增强条带。实验结果表明，该方法对具有HDR反射率的目标有效，具有较高的精度。

1、Introduction

编码结构光三维轮廓测量方法具有高速、高精度的特点，被广泛应用。然而，对于具有高动态范围(HDR)反射率的物体，捕获的条纹通常会被反射率扭曲，导致测量不准确。例如，高反射率或高光可能会使条纹饱和，而低反射率可能会导致看不见的条纹，这两者都导致测量失败。此外，条纹的轮廓也可能因反射率而扭曲，降低测量精度。这两种现象可能同时使结构光法的性能显著降低。

在HDR对象上进行了许多研究。在物体表面喷涂哑光涂层是最简单的方法。然而，哑光涂层厚度可能会显著影响测量结果。另一种方法是利用红外系统来测量HDR物体。在该系统中，条纹通过激光加热表面来投影，并由红外摄像机成像。基于红外辐射扩散模型，可以对镜面进行测量。但在实际应用中，红外区域存在噪声源，难以达到较高的精度。在另一种方法中，Nayar和Gupta⁶通过在投影仪和物体之间放置一个线性扩散器来减少高光并提高条纹的对比度。类似地，Zhongdong等人7在物体和图像传感器之间的硅(LCoS)器件上采用了高分辨率液晶。进入传感器(相机)的光强可以由LCoS自适应地调整。虽然HDR对象可以通过上述方法进行测量，但测量系统复杂且难以实现。
与上述方法不同，已经开发出不需要额外硬件的方法。提出了这些方法，目的是将漫反射和镜面分离开来。尽管如此，它们大多局限于非金属表面。采用另一种基于图像修补的方法。
Budianto和Lun¹¹利用几何引导的迭代正则化方法重构了高光区域的条纹。然而，有效的修复通常是基于高亮区域周围的高质量条纹。Restrepo等人¹²提出了一种更先进的方法，其中HDR成像技术和调制归一化相结合，以消除饱和和反射率的影响。然而，该方法要求没有突然的反射率变化，这通常不能满足大多数HDR对象。此外，噪声也会使结果严重退化.
本文提出了一种条纹增强方法。不同于上述对条纹强度的操作，如调制归一化或图像修补，HDR是通过对条纹的相位进行操作来实现的。将多重曝光法与相移算法相结合，保证了相位的准确检索。然后通过一组归一化调制得到增强条带。该方法具有较强的鲁棒性，且易于实现，不需要任何限制。
论文安排如下。第二节给出了所提方法的原理。随后，第3节给出了实验结果。第四部分为结论部分。

2、Principle

2.1、Principle of Coded Structured-Light

考虑水平条纹图案，投影的条纹图案可以表示为

其中x_p, y_p为投影图像坐标，f为条纹的空间频率，φ₀为初始相位，I_p0和I_p1分别为条纹的调制强度和平均强度，通常设为I_p0 = I_p1。
经过对象的反射和调制后，捕获的图案被写入

化简后，表示为

其中x,y是捕获的图像坐标，α(x,y)是反射率，h(x,y)是由于物体高度引起的相位，B(x,y)是捕获图案的调制。
对捕获图案进行条纹中心提取和解码后，可以得到投影条纹中心与捕获图案中心的匹配度。最后，可以重建物体的三维模型。图1显示了结构光系统的草图。

2.2、Modulation Normalization of the Captured Stripe Pattern（捕获条纹图案的调制归一化）

由式(3)可知，反射率的影响与B(x,y)的影响相当，是影响条纹质量的关键因素。对于具有HDR反射率的物体，一方面，α(x,y)[或B(x,y)]较小的条纹对比度较低[如图2(B)]， α(x,y)较大的条纹饱和[如图2©];另一方面，空间变化的调制或α(x,y)会使条纹轮廓变形，从而影响条纹中心的提取，如图2(d)所示。

为了消除上述反射率的影响，增强条纹，需要对条纹调制进行归一化处理。已知B(x,y)，归一化可以这样做

其中B₀是归一化调制，是一个常数，可以任意设置，I_norm是归一化条纹图案。一般情况下，对于归一化条纹I_norm中对比度高且无饱和度的情况，B₀设置为120。
高性能依赖于精确的B(x,y)，在存在反射率的影响下，这是很难获得的。因此，我们用另一种方法对调制进行归一化。将Eq.(3)和Eq.(4)的组合简化为

其中B₀是归一化调制，是一个常数，可以任意设置。一般情况下，对于归一化条纹I_norm中对比度高且无饱和度的情况，B₀设置为120。
在已知相位图φ(x,y)的情况下，我们也可以在没有B(x,y)的情况下，通过Eq.(5)得到归一化条纹图。
归一化过程如图3所示。为了规范化调制，需要检索相位图，这将在第2.3节中说明。基于高精度相位检索和调制归一化，构造了一种条纹增强方法。

2.3、Stripe Enhancement Method（条纹增强法）

根据2.2节的分析，在用式(5)进行调制归一化之前，需要检索相图。因此，条纹增强方法由两个步骤组成。首先，提取捕获条纹的相位图。结合多重曝光法和相移算法，在条纹饱和和低对比度的情况下，保证了精确的相位检索。然后用标准化的调制方式检索增强的条带。
下面详细说明了相位检索的过程。

2.3.1 Phase-shifting algorithm（移相算法）

相移算法用于消除空间变化的反射率或调制。在n步相移法中，第i步模式可以表示为

其中δ = 2π∕N为相移。
相图推导如下

等式的组合。(6)(7)改写为

对于一个逐像素的过程，或者因为Eq.(8)中的求和与(x,y)无关，Eq.(8)可以简化为

由上式可知，相位反演不受空间变化调制的影响。

2.3.2 Multiexposure method（多重曝光法）

为了消除饱和度和低对比度的影响，使用了多次曝光方法。
首先，在不同的曝光下捕获具有相移的投影模式，并表示为{I_i^t1(x,y),I = 1,2,…N}, {I_i^t2 (x, y), i = 1, 2,…,N},…,{I_i^tk (x, y), i = 1, 2,…,N},…{I_i^tn(x, y), i = 1, 2,…，N}，其中t₁,t₂,…,t_n为曝光时间，{I_i^tk(x,y),i=1;2，…，N}为t_k曝光下捕获的N个相移条纹图案的集合。
随后，为每个像素选择t₁,t₂,…,t_n中最优的曝光t_opt，以保证在I_i^tk(x,y)处没有饱和，对比度高。因此，每个像素的最佳曝光必须满足两个条件:(1)I_i^tk(x,y)对于任何I =1,2,…,N都不饱和，(2)I_i^tk(x,y)是I_i^t1(x,y)，I_i^t2(x,y),…,I_i^tn(x,y)中的最大值。
根据第一个准则，I_i^tk(x,y)在某些I下饱和的曝光被移除。例如，在某一个像素(x0, y0)中，去除这些曝光显示为

根据第二准则，选择最佳曝光t_opt为

经过等式中逐像素的处理。(10)和(11)，可得到映射t_k(x,y)，如图4(d)所示。然后在所选t_opt下使用I_i^tk(x,y)检索融合相位图，如Eq.(12)和图5所示。

由于在I(x,y)中选择最佳曝光，没有饱和，对比度高，保证了精确的相位恢复。在实践中，当确定在捕捉图案时需要多少曝光时，一般来说，对于具有HDR反射率的物体，至少两次不同的曝光时间就足够了，对于更高的动态范围，则需要更多的曝光时间。但是，如果动态范围不是很高，我们也可以使用大移相步N的单次曝光。
利用相位图对条纹的调制进行归一化，如式(5)所示，得到增强的条纹图案。增强方法的过程如图6所示。
改进后的条纹图案可以通过Steger算法进行精确的中心提取。2经过常规结构光法处理，最终得到三维剖面数据。

3、Experiments

3.1、System Setup

结构光系统由1024 × 768像素的投影仪和4016 × 2688像素的摄像机组成。采用该方法⁵对系统进行校准，并使用高精度平移台和校准板，如图7所示。为了更全面地评价所提方法，比较了所提方法与文献12中的方法的时间成本。用于处理捕获图像的计算机包括一个CPU Inter Core i5-3210M 4-G DDR内存和一个1000g硬盘。图像处理软件为MATLAB®2012b。时间成本包括两个方面:图像捕获时间和处理时间，其中处理时间包括图像增强时间。每张图像的捕获时间为0.5秒(2帧∕s)。为了校正投影仪的镜头畸变，投影了垂直和水平的图案。这些图案分别在低曝光和高曝光下被捕捉到。然后采用该方法对高曝光条件下的图像进行增强。在增强过程中，相移步长N为12，δ为π∕6，在实验中使用一次曝光时间(最多两次)。此外，归一化调制被设置为120以获得高质量的增强。为了比较所提方法的性能，也采用文献12中的方法对模式进行了处理。在文献12的方法中，将上述两次曝光下的模式组合得到增强的模式，然后对调制进行归一化。
分别测量了三种典型场景。第一个场景由一个白色陶瓷球和一块高精度的黑色金属板组成。计算机数控机床的刀柄和水壶分别放置在第二个和第三个场景中。刀具柄有一个闪亮的圆锥表面，精度高。水壶的盖子是由黑色塑料制成的，壶身是由抛光金属制成的。

3.2、Measurement of the First Scenario

图8和图9分别显示了第一个场景的条纹模式和放大的条纹模式。图9(a)和图9(b)分别是在低曝光和高曝光下捕捉到的模式。图9©是通过参考文献12中的方法增强的模式。图9(d)为本文方法对图9(b)的增强结果。显然，增强后的条带信噪比较未增强的条带有很大提高。对于单次曝光下的条纹，本文方法的性能优于文献12中的方法。


为进一步观察该条纹，其截面C1和C2的剖面分别如图10(a)和图10(b)所示，其位置如图9所示。黑色和绿色曲线分别为低曝光和高曝光下的条纹轮廓，红色和蓝色虚线分别为参考文献12的方法和本文提出的方法增强的条纹轮廓。C1剖面通过本文方法增强后，消除了因反射率引起的饱和度和强度变化，C2剖面也消除了因反射率低引起的条纹对比度低的问题。此外，本文方法得到的条纹轮廓在视觉上与文献12中方法得到的条纹轮廓重叠。同样，在一次曝光下的条纹，所提出的方法的性能与文献12中的方法一样高，后者使用了至少两次曝光下捕获的图案。

为了定量比较结果，三维点云和误差如图11、12和表1、表2所示，其中球的结果如表1所示，板的结果如表2所示。此外，时间成本如表3所示。球的直径为50.800 mm，由三坐标测量机(CMM)测量。误差定义为拟合曲面(平面或球体)与测量点之间的距离。不出所料，在低曝光下由于低对比度而降低了板的测量精度，在高曝光下由于饱和而降低了球的测量精度。改进后，球和板的精度都有所提高。虽然该方法的直径误差比低曝光条件下的直径误差大，但误差的标准差和最大误差最小。对于文献12中方法的结果，受图像噪声的影响，精度不如本文方法的结果高。此外，它比参考12中的方法花费更多的时间，如表3所示。究其原因，本方法主要的时间成本是图像捕获时间，所捕获的图像数量为12张(大于文献12中的2张图像)。总体而言，与其他方法和未增强的方法相比，该方法的精度有所提高。

3.3、Measurement of the Handle and the Kettle

为了证实所提方法的普遍适用性，我们测量了一个刀柄和一个水壶，这是典型的具有闪亮金属表面的HDR物体。图13和图14为刀柄的结果，图15和图16为水壶的结果。为定量比较测量精度，对刀柄锥面的统计结果如表4所示。锥面度为8.296度(也用三坐标测量机测量)。
从图13可以看出，刀柄反射率的动态范围非常宽，表面有一个明显的高亮区域。低曝光下的条纹几乎看不见，高曝光下的条纹被高光严重饱和。此外，高光区域由于反射率的突然变化，严重影响了条纹的轮廓。如引言中所述，由于突变，Ref. 12的方法性能大幅下降，影响并未消除。相比之下，该方法增强条纹具有较高的信噪比，且不受突变的影响。同样，从表4的测量结果可以看出本文方法的优势。该方法不仅提高了条纹图的信噪比，而且具有较高的精度。
在水壶的图案和测量结果中也可以发现类似的结果。虽然降低了条纹的饱和度和低对比度，但Ref. 12的方法未能消除反射率的影响，特别是在突然变化的情况下，如图15©所示。相比之下，该方法增强条纹的质量得到了提高，且几乎不受反射率、饱和度或低对比度的影响。用该方法测量的点云也验证了该方法的高性能。
综上所述，实验结果表明，该方法消除了反射率的影响，在测量HDR对象时获得了较高的条纹质量，性能优于文献12等其他方法。

4、Conclusion

本文提出了一种用于HDR目标测量的条纹增强方法。该方法通过相移算法和多次曝光法消除了条纹的饱和和低对比度，通过调制归一化降低了反射率的影响。
实验证明，该方法对常规结构光系统(如投影仪-摄像机对)具有较高的测量精度。与以往的方法相比，该方法具有更强的鲁棒性和更广泛的应用范围。