论文《Microscopic structured light 3D profilometry: Binary defocusing technique vs. sinusoidal frin》学习

Abstract

(SCI 一区2017)本文在两种不同的三维显微轮廓测量系统下，将二元离焦技术与传统的正弦条纹投影进行了比较:照相机和放映机都使用远心镜头，只有照相机使用远心镜头。仿真和实验结果表明，二值离焦法比传统的正弦条纹投影法有明显的改善，测量分辨率提高了约19%。最后，利用二值化技术的速度优势，我们提出了一种高速(500赫兹)和高分辨率(1600x1200)三维显微轮廓测量系统，可以达到千赫。

1. Introduction

近年来，三维光学计量在检测、快速成型等领域的应用显示出了广阔的发展前景。结构光(SL)系统由于其灵活性、速度和精度在现有的三维形状测量技术中得到了越来越广泛的应用。为了在工业计量领域中真正实现这种技术，主要的挑战之一是将其测量精度提高到微尺度水平。

为了将SL三维轮廓术转化为微尺度水平，研究人员首先尝试修改了一个常规SL系统的光学。各种方法在显微SL三维轮廓测量中都取得了成功，如将数字-微镜器件(DMD)、液晶显示(LCD)或液晶-硅上(LCoS)芯片插入到立体显微镜的一个通道中[2-7]。通过这种方法，Van der Jeught等人利用图形处理单元(GPU)对三维数据进行实时处理和可视化，实现了120hz的显微三维轮廓术，这与宏观尺度测量系统所实现的效果相似[8-10]。也有重新搜索的工作，把镜头变成非远心镜头与小视场(FOV)和长工作距离(LWD)[11-15]。最近，远心透镜由于具有更大的聚焦深度(DOF)而被用来替代非远心方法[16-19]。这些提到的方法已经成功地克服SL的硬件限制3 d轮廓测量,提高了测量精度水平的μm。

除了硬件设置，我们正在寻找其他可能的解决方案，以提高三维显微轮廓测量的能力。一个可能的方向是研究不同投影模式的影响。传统上，SL三维轮廓测量使用正弦模式，但存在一些主要缺点，如非线性的伽马校准要求和速度瓶颈。由于正弦波方法需要8位正弦波图形的投影，所以测量速度在DLP投影设备的硬件级别上受到限制，即使对于DLP Lightcrafters或Wintech PRO 4500等较低级别的开发套件也是如此。例如,在实时显微三维轮廓测量系统由范德Jeught et al。[7],相移正弦模式是用于结构光illumina公司,然而,测量速度是有限的最大刷新速率(即120 Hz)的8位灰度模式中使用的投影仪系统(例如LightCrafter 3000)。Lei和Zhang[20]提出了二进制离焦方法，该方法向投影仪提供1位二进制模式，然后通过投影仪离焦投射准正弦模式。由于只使用了两个灰度值，二元离焦方法不需要伽马校准。采用先进的数字光处理(DLP)技术，测量速度达到千赫兹。例如，[7]中使用的DLP LightCrafter 3000可以将1位二进制模式刷新到4000 Hz。由于二值模式提供了最大可能的对比度，我们假设二值离焦方法也可以提高数字条纹投影(DFP)系统的信噪比(SNR)，从而提高测量精度。在这项研究中，我们用DLP投影仪开发了两种不同类型的显微SL系统来验证我们的假设。第一种系统为照相机使用远心透镜，为投影仪使用随钻小孔透镜;第二种系统为摄像机和投影仪使用远心镜头。然后我们比较了两种系统下二元离焦法和传统正弦法的测量分辨率。仿真和实验结果表明，在具有DLP投影仪的显微SL系统中，二元离焦技术可以提高约19%的测量分辨率。此外，使用DMD的1位模式的高刷新率，使高速和高分辨率的3D显微轮廓测量功能成为可能。例如，我们开发了一个高速(500赫兹)和高重解法(1600?1200)三维显微轮廓测量系统，可能达到千赫兹(kHz)帧率。

第二部分介绍了本研究涉及的理论背景，包括相移算法、二元离焦技术和两种不同的显微SL轮廓测量系统的原理。第三部分给出了在噪声存在的情况下，二元离焦和传统正弦方法的仿真结果。第四部分为实验验证，第五部分为论文总结。

2. Principle

在这一节中，我们将介绍本研究中使用的每种技术的相关原理，包括最小二乘相移算法、二元离焦技术，以及我们建立的两种微观SL系统的模型。

2.1. Least-squares phase-shifting algorithm

相移算法由于其灵活性和准确性，在实际计量中经常被采用。在广义最小二乘相移算法中，第i个相移条纹可以用数学公式表示

I′(x, y),代表的平均强度,I′′(x, y),表示强度调制和ϕ(x, y),是要解决的阶段。一般来说，移相步骤越多，得到的相位质量越好:

这个方程生成包裹相位测距$(-\pi ,\pi )$。我们采用一个简单的二进制编码方法[21]检索绝对相位地图没有2π不连续。利用一种简单的基于参考平面的校准方法[22]可以将相位信息转换成三维几何图形。

2.2. Binary defocusing technique

二进制散焦技术[20]的基本原理如下:与传统的正弦方法不同，它是用1位的平方二进制模式来给投影仪提供数据。如果放映机适当地散焦，准正弦条纹图案可以投射到屏幕上。二元离焦技术的理论背景是在傅里叶级数展开中抑制方波的高次谐波。由于投影机的散焦可以近似于低通高斯模糊效应，因此可以通过投影机的散焦来抑制方波的高阶谐波，从而使一阶谐波(正弦)在合成图形中占主导地位。

根据Ekstrand和Zhang[23]的研究，如果采用九步相移算法，即使使用几乎聚焦的二进制模式也可以实现高质量的测量。九步移相法可以有效地减小由于投影器的非线性引起的误差，并抑制相机的随机噪声。使用近聚焦投影仪代替完全聚焦投影仪的目的是:(1)增加边缘图像的对比度，或提高信噪比;(2)消除数字投影仪的离散像素效应。因此,研究二进制散焦性能的方法在微尺度三维轮廓测定法,同时与传统的正弦法相比,我们应用采用移相(N=9)算法在这两种方法几乎集中投影仪公平的比较。

2.3. Microscopic structured light 3D profilometry systems

在本研究中，我们建立了两种不同类型的显微SL系统。第一个系统叫做单心距SL系统，它使用一个心距透镜作为摄像机，一个针孔透镜作为投影仪。第二个系统称为双远心SL系统，它使用远心镜头来拍摄相机和投影仪。

单中心SL系统的模型如图1(a)所示。在这个系统中，投影仪使用了一个LWD针孔透镜，这尊重了著名的针孔模型。本系统采用远心透镜，尊重直角投影模型。该透镜只是沿X轴和Y轴产生线性放大，这意味着它对沿z轴的深度变化不敏感。

远心透镜具有正射投影、低畸变、放大恒常性、大自由度[24]等独特性能，在显微测量中具有较好的应用前景。在本研究中，我们还构建了一个双远心SL系统，如图1(b)所示，其中摄像机和投影仪都使用远心镜头。

3. Simulations

为了比较二元散焦技术和传统正弦方法在噪声抑制方面的性能，我们进行了仿真，比较了两种方法在高斯噪声存在时的性能。在模拟中，使用了九步（N=9）相移模式。如第2.2节所述，使用九步（N=9）相移算法可减少相机引起的随机噪声，以及正弦条纹图投影或二元图形投影引起的高频谐波所引起的投影仪非线性。在实际实验中，采用高斯噪声来模拟摄像机噪声效应。我们首先在一个特定的高斯噪声水平下比较了两种方法。生成的相移图形被强度标准差为0.05的零均值高斯噪声“污染”。需要注意的是，为了模拟一个几乎集中的场景，我们没有向生成的模式添加任何高斯滤波器。我们使用2.1节中描述的算法计算了这两种方法的相位图，得到的相位图如图2(a)和(b)所示。然后，我们从两幅相位图中取一个横截面，通过去除总斜率来评估相位误差。相位误差图如图2©和(d)所示。两种方法的均方根误差分别为0.023 rad和0.047 rad，说明正弦法的相位误差几乎是二元离焦法的两倍。因此，它清楚地描述了二元离焦法在这种噪声水平下的性能优于正弦法。

为了进行更深入的评估，我们还使用图像平均技术比较了两种方法在不同噪声水平下的性能。也就是说，每一个九步相移模式Ii(x,y)都是由L个相同的对应模式在相同高斯噪声水平下“污染”的平均值所产生的:

Wσ(x, y),表示时变高斯白噪声与零均值和标准差s。在这里,我们仍然保持相同的σ= 0.05。由于噪声的随机性，随着L的增大，图像平均会显著降低时变随机噪声的影响。然后我们比较了从无图像平均到L=40图像平均的两种方法来模拟不同的噪声水平。对比结果如图3所示，从中可以看出，二值离焦法的相位误差总是小于正弦法。在没有图像平均的情况下，即噪声水平最高时，其差异最大。随着平均次数的增加，即噪声水平的降低，两者的差异变得不那么显著，但二元离焦法仍优于正弦法。结果表明，二值离焦法比正弦法具有更好的抗噪能力，这与二值离焦法具有更高的图像对比度有关。在下一节中，我们将通过实验分析来验证这一假设。

4. Experiments

单中心SL系统包括一个DLP投影仪(型号:Wintech Pro 4500)和一个数字CCD相机(成像源DMK 23U274)。投影仪可刷新120hz的8位灰度图和4225 Hz的1位二进制图。投影仪的分辨率为912×1140像素大小的×7.6 - 7.6μm 2。相机的像素的分辨率为1600×1200像素大小的×4.7 - 4.7μm 2。相机远心镜头型号为Opto-engineering TC4MHR036-C，放大倍数为0.487，工作距离为102.5 mm，景深为5mm。投影仪使用的是工作距离为700mm的LWD镜头。本系统采用Newport M-MVN80(灵敏度:50nm)作为精密垂直平移级，用于执行基于参考平面的校准[22]。实际系统的快照如图4(A)所示。

双远心SL系统采用DLP lightCrafter 4500投影仪和高分辨率数字CMOS摄像机(型号:
PixelLink PL-D725MU-T)。同样，投影仪可以在120hz刷新8位灰度图，在4225 Hz刷新1位二进制图。投影仪分辨率为912 x1140，像素大小为7.6×7.6μm 2。相机的分辨率是2592 x 2048像素大小的×4.8 - 4.8μm 2。用于照相机的远心镜头是Opto-Engineering TC4M036-C，与之前系统使用的规格相同。投影系统专用的远心透镜放大倍数为0.287。它的工作距离为100毫米，现场深度为10毫米。精确的翻译阶段0.1μm的x y z灵敏度是由MicroVU顶点251加州大学测量系统,再次用于校准的目的。实际系统的快照如图4(b)所示。

二进制比较散焦法与正弦法在微尺度测量,我们第一次测量平面平面表面模拟仿真的框架(见第3节)。换句话说,我们比较了两种方法下L图像的平均数目不同,单远心的和dual-telecentric系统。我们几乎集中的投影仪projec正弦和二进制模式,再一次,采用进口(N=9)移相用于抑制不必要的高频谐波和错误造成的projector非线性,以及减少随机噪声的相机。图5(a)和(b)分别显示了单遥心和双遥心系统的测量结果。由此可以看出，在两种系统下，实验结果与图3所示的仿真结果吻合较好。即二值离焦法始终优于传统的正弦法，误差差值随着L的增大而减小。最大的错误再次发生没有涉及的平均差异(L=),二进制的散焦法可以减少噪声的正弦法single-telecentric系统大约19%和12%为双远心的系统。值得注意的是，对于这两个比较，我们使用正弦模式来生成参考平面。特别地，我们使用了18步(N=18)相移正弦模式，每条条纹由平均60幅图像(L=60)产生，然后使用一个9x9高斯滤波器进一步抑制高频随机噪声。在我们的实验中，我们发现在参考平面生成中，二进制模式和正弦模式的选择对整体噪声剖面影响不大。图6 (a)和(b)显示生成的差异参考飞机从二进制和正弦模式两个系统,从中我们可以看到,两个系统下,非常小的差异,RMS差异为0.05μm和0.04μm,分别只占不到5%的总体噪声剖面。实验结果表明，二元离焦法比正弦法具有更好的性能。


在单中心和双中心系统下，我们还使用二元离焦和传统正弦方法测量了复杂表面几何形状的物体。在不使用图像平均技术(L=1)的情况下，采用九步(N=9)相移重建三维几何。然后，我们通过从重建的三维几何中减去“相对地面真实度”的三维数据来进行噪声分析。“相对真理”的3 d数据来自18-step (N = 18)移相和L¼60平均。注意，这里我们没有对“相对地面真实”数据应用高斯滤波器。这是因为，对于复杂的表面几何形状，平滑的滤光器会在尖锐变化的边缘周围产生伪影。图7和图8分别展示了两种方法和两种系统下重建的三维结果、三维数据的一个截面和同一球栅阵列的噪声剖面。single-telecentric系统的均方根误差大约是3.6μm二进制散焦,和4.1μm的正弦方法;对于双远程中心系统，相应的均方根误差分别为2.7μm和3.4μm二进制散焦法和正弦法。实验还表明，在这两种情况下，二元离焦法都优于正弦离焦法，再次证明了我们之前的假设。


最后，我们测量了动态流体流动，以演示二元离焦法的高速三维显微轮廓测量能力。该系统采用高速CMOS摄像机代替单中心SL系统中的摄像机(Vision Research Phantom V9.1)。我们选择的样本液体是一小滴原味酸奶。在这个实验中，我们用一根吸管从一侧吹出酸奶液滴，并将喷射速度和图像捕捉速度设置为500hz，这是传统正弦方法在相同的硬件设置下不可能实现的。我们这里使用的相机分辨率是1600x1200像素。在本实验中，我们使用了三个相位偏移的二进制抖动模式[25] (边缘周期为T=45像素)来计算包裹相位，另外三个相位偏移的二进制抖动模式(边缘周期为T=1140像素)来执行时间相位展开[26]。然后使用展开相位利用校准数据恢复三维几何形状。图9及其相关视频(视频1:https://engineering)purdue.edu/ZhangLab/videos/OLE_Li_Video1.mp4和视频2:https://engineering.purdue.edu/ZhangLab/videos/OLE_Li_Video2。mp4)演示了该动态酸奶流量的测量结果。图9(a) - ©为目标纹理的三帧样本，为了更好的显示，增强了图像的对比度。图9(d) - (f)为相应的三维剖面。结果表明，利用三维显微轮廓测量系统可以很好地测量流体的动态流动。值得注意的是，三维几何图形上显示的一些垂直折痕实际上是由流动中的波纹产生的。

5. Summary

在这项研究中，我们比较了二元离焦技术与传统的正弦方法在具有DLP投影仪的显微SL系统中的应用。仿真和实验结果均表明，该方法在三维显微轮廓测量中优于正弦方法。深度分辨率的提高可以达到约19%。最后，利用二元离焦法的速度优势，我们还建立了一个高速微尺度三维测量系统，利用二元离焦法在500hz的帧频下进行三维显微轮廓测量。