论文阅读 主题：高动态自适应的深度结构光测量

论文标题：高动态范围三维形状测量的自适应数字条纹投影技术

理论部分

摘要：对于任何光学方法来说，测量具有大范围反射率变化的物体都是一个挑战。图像饱和导致捕获的条纹图案图像强度不正确，导致相位和测量误差。摘要提出了一种新的自适应数字条纹投影技术，该技术在测量物体表面反射率变化较大的三维形状时，避免了图像饱和，且信噪比高。相比以前的高动态范围的3 d扫描方法使用许多曝光和边缘模式预测,消耗大量的时间,该技术只使用两个边缘投影和图像捕获模式的初步步骤生成适应边缘模式,通过自适应调整的pixel-wise强度饱和像素的投影条纹模式基于捕获的图像表面的测量。对于表面反射率高、环境光照度高、表面互反射强的明亮区域，将投影强度降低，以避免图像饱和。同时，对于表面反射率较低的暗区，使用255的最大强度来保持较高的信噪比。实验表明，该方法可以在反射率变化幅度较大的表面上实现更高的三维测量精度。

1、介绍：
三维(3-D)形状测量已经被研究了几十年，并被广泛应用于包括工业设计、逆向工程和原型、质量控制/检查和文化制品的文件编制等领域[1,2]。一般来说，三维形状测量方法可以分为两类:表面接触法和表面非接触法。三坐标测量机(CMM)是一种采用表面接触法进行三维形状测量的典型系统。由于其表面接触特性，对表面光学性质不敏感，但由于表面接触可能破坏测量轮廓，对软物体处理困难。而且由于它是逐点测量的方法，测量速度很慢，通常导致测量效率较低。
相比之下,高速度和非接触的光学方法特征[1,3],包括立体视觉、摄影测量、激光扫描范围,结构光等,其中,结构光是一种最广泛使用的三维形状测量方法受益于全检查的优势,高分辨率和准确度[2]。通常，将一些条纹图案投影到物体表面上，用相机捕捉被物体表面变形的条纹图案的图像，并根据图像[3]中的像素计算相位图。绝对相位图可用于确定多摄像机立体视觉系统[4]中摄像机之间的对应，或结构光系统中摄像机和投影仪之间的对应[5,6]。最后，基于较早时对感兴趣的测量体积进行的校准，通过相高度映射，可以从绝对相图计算出物体表面的3-D坐标。
虽然结构光法有很多优点，但如果表面没有良好的光学性能，它就不能很好地发挥作用。在实践中，大多数光学方法假定物体表面具有漫反射或近漫反射和低反射率变化点到点。因此，对于任何光学方法来说，对镜面、闪亮或反射率变化幅度大的物体表面进行测量都是一个挑战。例如，图1(a)为塑料块的图像，图1(b)为捕获到的条纹图案图像。很明显，塑料块的表面是漫射的，所以相机可以捕捉到条纹图案的清晰图像。图1©显示了不同表面材料的金属工件的图像。如图1(d)所示，只有对相机具有强反射的区域才能提供可测量的条纹图案，而从金属工件的其他区域到达相机的光线非常微弱。因此，没有足够的信息可以获得金属工件的三维形状。随着曝光时间的增加，在图1(e)中，从金属工件中对相机反射低的区域反射的条纹图案变得可见，而对相机反射高的区域变得非常亮。这是因为反射的光非常强烈，总是导致相机传感器饱和。在结构光法中，这意味着由高光调制的条纹图案不能被正确解码。因此，这些区域是无法测量的。目前在工业应用中，为了解决这一问题，一般在测量前在物体表面喷涂一层薄薄的粉末，使其表面扩散。这个补充步骤既麻烦又费时，因为之后还需要清理对象。此外，最终精度往往取决于粉末的厚度及其均匀性[7]。
针对不同表面的反射率，Zhang等人提出了一种通过不同曝光的高动态范围扫描技术。通过选择每个像素上最亮的不饱和强度，在不同曝光条件下捕获的一系列图像被组合成一组相移图像。将高曝光时镜面反射产生的饱和像素替换为低曝光时对应的像素。因此，可以在不影响其他区域的情况下正确地测量镜面或黑暗区域。另外，最高强度调制已被用于创建复合相移图像[9]。该技术降低了环境光照对测量结果的影响，提高了测量的信噪比和动态范围。至于这些采取多次曝光的方法，虽然相机镜头的光圈和相机曝光时间可以轻松调节，但曝光的选择没有量化。此外，为了获得高对比度的相移图像，需要大量的曝光，耗时较长。为了解决这个问题，赵等人[10]提出了一种非常快的、高动态范围的条纹图案投影仪的设计，采用700 Hz帧率，减少了88%的常规投影时间。同样，针对这个问题，Ekstrand等[11]提出了一种自动曝光技术，可以根据被测物体表面的反射率自动预测所需的曝光时间。选择这个单一的预测曝光时间是为了在物体最亮的区域过度曝光和物体在阴影中最暗的区域失去条纹模式之间进行权衡。该技术减少了人为的干预，提高了三维形状测量系统的智能化程度。但单次曝光时间并不总是适合反射率变化幅度大的表面。Ri等[12]提出了一种利用数字微镜装置摄像机的强度扩展方法。该方法通过调整每个CCD像素的最佳曝光时间，可以获得高对比度的条纹图。
另一种避免图像饱和的方法是降低条纹图案的投影强度。Waddington和Kofman[13]开发了一种技术，即通过自适应调整投影条纹图案的强度，使输入的最大灰度水平适应环境光，以避免饱和，在不同光照下捕获的原始条纹图案图像融合合成图像。然而，与那些多次曝光的方法相比，这项技术也可能是耗时的。最近，Babaie等[14]提出了一种增强条纹投影系统动态范围的新技术，用于测量光学反射率变化范围较大的物体的三维轮廓。基于相机捕获的反射图像的反馈，通过像素级递归控制投影图像的强度来获得高动态范围条纹图案图像。采用四步相移算法从采集的高动态范围条纹图中获取目标的绝对相位图。与前面所述的相移方法不同，Zhang等[15]使用单色的黑白条纹图案来测量不同反射率的物体，从而提高了鲁棒性。采用由点扩展函数和相机响应函数导出的自适应强度掩模，动态调整图案强度以防止光泽区域的过度曝光。该方法的点扩展函数是基于从摄像机像平面到投影机像平面的单应性矩阵，可以通过事先的测量表进行标定。但在测量过程中，很难保证被测物体的位置与棋盘格的位置相同，因此单应性矩阵映射后的坐标可能不是很准确。
处理镜面反射出现在孤立的区域的图像,其他方法,如多个摄像机视点[16],多个相机、光源颜色,颜色过滤器[17],偏振过滤器(18、19)和多个光投影方向[20]被用来构造合成图像从不同的抓取的图像没有饱和。这些方法需要在硬件、系统设置、图像掩码和配准处理上增加额外的复杂性，以合并不同的表面区域。
本文提出了一种新的自适应数字条纹投影技术(ADFP),避免了图像饱和度和保持高信噪比的三维形状测量哪里有一个大范围的反射率变化在物体表面,通过自适应调整的pixel-wise强度预测中基于饱和像素边缘模式捕获的图像表面的测量。该方法可以在不进行物理修改的情况下提高条纹投影系统的扫描动态范围，可用于测量涡轮叶片、轴类、光滑塑料零件等经过加工或抛光的高反射率表面。
本文的其余部分组织如下。第2节解释了所提议的方法的原则。第三节给出了与该方法相关的一些实验结果。第4节讨论了提出的方法的优点，第5节总结了本文。

2、原理
条纹投影技术提供了全场表面测量的优势，通常可以获得表面上每一个图像像素点的三维坐标。在条纹投影技术中，傅里叶变换轮廓术[21]和相移算法[22]得到了广泛的应用。多年来，人们发展了许多相移算法，包括三步、四步、双三步等。在本研究中，我们使用四步移相算法来求相位值。

2.1四步相移算法（略）
2.2自适应数字条纹投影(ADFP)方法
ADFP技术避免图像的饱和度和保持高信噪比的三维形状测量哪里有一个大范围的在物体表面反射率变化和发展提出了使用移相边缘投影系统(图2),由一个数字放映机正弦移相边缘模式投射到物体表面,相机在一个角度的投影仪来捕获图像边缘模式出现变形物体表面,以及生成条纹图案并控制和执行所有处理的计算机。
对于表面反射率未知的任意物体，在环境光和复杂表面结构(如相互反射)的影响下，很难确定像素级的投影条纹图案的最佳强度。因此，首先要估计物体的表面反射率、环境光和表面相互反射的光。为了解决这个问题，需要确定摄像机的响应函数和摄像机到投影仪的坐标映射函数，这是两个最重要的任务，将在下一节中详细描述。在这里,“自适应”意味着大范围的基础上,在测量物体表面反射率变化和环境光的影响和复杂表面上相互反射,技术可以预测不同的最优投影条纹图形强度像素级的表面具有不同反射率和环境光等。

A.计算条纹图案中每个像素的最佳强度
为了确定相机捕获的强度和投影仪输出的强度之间的关系，有必要了解物体的图像是如何在相机传感器上形成的。通常，在一个结构光系统中，以下因素会影响条纹图案图像的形成:(1)直接的环境光相机传感器的强度,(2)环境光和其他表面的投影光从多个路径补丁反映在物体表面反射率r,扶轮领导学院(rLi),(3)投射光的强度Lp反映在相应的表面补丁的反射率r, rLp,(4)接触t指镜头的光圈和n ~(0) 2曝光时间,(5)相机灵敏度k，(6)传感器的噪声在σ。不同光源的照度对相机捕获条纹图案图像的影响如图3所示，用下式描述:

式中(x, y)为摄像机图像平面中的像素坐标。因此，式(6)可表示为

假设存在n个点（数据对）（Xi1，Xi2，Ii），i的取值从1到n，括号中前两个是自变量，最后的Ii是因变量，可以估计参数b1和b2的值。定义下式：

分别对b1 和b2求偏导，并令其为零，求其最小值

因此，每个像素r(x,y)的反射率估计量为b1，环境光散射和镜面反射的强度估计器b2，

摄像机响应函数为

（13）表明，对于给定的测量对象和测量环境，所测量的环境强度p（x，y）取决于投射光源强度Lp相机灵敏度k，曝光时间t。因此，要保证捕获的条纹图案图像质量良好，只需正确设置上述三个参数的值即可。实际系统中，简单的近视为，参数k和t保持不变，因此，一个最佳的投射光照强度Lp，可以保证相机的捕捉强度I是一个不会过度曝光的合适的值，这可以从相机的反响应函数中推导，通过（13）可以得到：

对于表面反射率的变化，r(x,y)将随着像素的变化而变化，和Lopt也必须根据像素的不同而变化，以保持高信噪比并且不引起图像饱和。由于移相算法是逐点计算相位，通过式(5)，可以在捕获的条纹图案图像中逐像素计算相位，并进一步转换为三维坐标。

B.坐标映射
相机响应函数只求解投影条纹图案的强度大小;然而，它不能回答最佳的预计强度应该在哪里。换句话说，我们必须确定坐标映射函数，以分配最佳的强度到投影仪图像平面的正确位置。识别和聚类的饱和执行像素使用的最大强度投影边缘模式设置为255,因为它是最高的灰度投影的输入为一个8位(投影仪),以确保高强度调制的捕获模式在黑暗的边缘图像区域,无论图像饱和发生在明亮的图像区域。此外，减小相机镜头的光圈，使用更小的相机曝光时间，将相机的感光灵敏度设为k ~ 0dB，都可以尽可能的减少环境光和表面反射的影响。考虑到相机传感器的噪声，保留一定的灰度空间，避免噪声导致相机传感器饱和，阈值设置为248。也就是说，对于每个相机像素，如果从任何条纹图案图像(对于任何相移i∈[1,4])捕获的强度达到248，则该像素被识别为饱和像素。A相机掩模图像Mc由：

在相机掩模图像中，连通的饱和像素形成饱和像素簇。每个饱和像素簇外的轮廓通过边界跟踪来提取。一般情况下，每条轮廓线都由一个点向量表示。这些点是不饱和的，具有绝对相。从而将它们映射到投影机的图像平面上，确定投影机图像平面内的匹配轮廓。对于每一个相机图像中的配对点的坐标系（x，y），定义坐标映射函数，将其映射到投影仪图像坐标系下的匹配轮廓点(u, v)。通过将摄像机成像平面与投影机成像平面之间的坐标映射函数转化为单应映射。

其中H是3x3的单应性矩阵，s是标量因子。由捕获的条纹图案图像计算出不饱和的轮廓点及其周围的点，即(u, v)，可得到单应矩阵H。在相机掩模图像完成后，投影仪掩模图像Mp可以生成来包含所有匹配的轮廓，其中在所有匹配轮廓上和内部标记为0的点形成饱和像素簇，其余的点标记为255(不饱和)。匹配saturated-pixel集群在投影仪掩模图像从而表明最优预测强度应该位于所有边缘模式,特别照亮那些表面区域,导致图像饱和由于高反射率和表面相互反射,和那些表面反射率较低的地区。

C. ADFP过程

1、投影一系列统一的灰度水平的patterns，Li，由投影仪控制从0~255变化，通过相机捕捉图像Ii，i取值从1到7，为了简化计算和最小化环境光散射以及表面相互反射的影响，在此过程中，最小化相机镜头光圈，固定相机曝光时间t，将相机灵敏度k设为0dB，即k = 1。相机曝光时间t最好设置为1/fp秒的整数倍，fp是数字投影仪的刷新频率(fp通常为60Hz)。这使得相机与投影仪更好地同步。相机的曝光时间不宜过大，因为曝光时间过长会大大增加整体测量时间。

2、计算每个像素的反射率，以及环境散射光和相互反射光的光强，通过公式（12）

3、根据相机的响应函数，计算条纹图中每一个像素的最佳强度Lopt，公式（15）

4、使用最大强度255投影条纹图案，捕捉一组相位c偏移图像，生成相机掩模图像Mc，求解绝对相位图。对于饱和像素，它们的绝对相位是假的，但是在轮廓上和轮廓外的像素是不饱和的，可以用来映射坐标。

5、作为每一像素的最佳强度，通过公式（17）映射到投影仪图像（u，v)，然后，采用四步相移法，投影仪图像的强度调制公式为：

6、通过强度天只和平均强度来生成自适应条纹图案进行扫描。

通过自适应调整每个像素的亮度来生成条纹图案，可以解决捕获的条纹图案图像的高亮和暗的问题。对于表面反射率高、环境光照度高、表面相互反射强的明亮区域，将投影强度降低到足够低以避免图像饱和。同时，对于表面反射率较低的暗区，使用最大强度255来保持较高的信噪比。因此，能够获得高质量的条纹图案图像，恢复物体的三维形状。而不是捕获一组边缘模式反复在许多相机曝光时间,只有一个捕获组调整边缘模式而采用ADFP方法,局部调整预测强度据当地表面的反射率特征区域和环境光的照明和表面相互反射后只有两个初步的步骤。AFPP方法也不需要任何额外的光学和控制硬件。