论文《A high dynamic range structured light means for the 3D measurement of specular surface》学习

Abstract

(2017 一区SCI)本文提出了一种用于镜面三维重建的结构光方法。采用二值漂移带作为结构光模式代替传统的正弦模式。在传统高动态范围成像技术的基础上，提出了一种有效的相机响应函数估计方法。然后通过引入衰减函数对生成的辐射图的动态范围在梯度域中进行压缩。根据不同的结构光模式投射引起的光照条件的变化，选取中等曝光水平的结构光图像作为参考图像，对原融合图像进行微调。最后，利用具有良好曝光条件的再生结构光图像对镜面进行三维重建。为了评价该方法的性能，采用了一些具有较强反射率的不锈钢冲压件进行了实验。结果表明，该方法可以准确地重建出不同形状的高光目标。

1. Introduction

基于视觉的测量方法在设备和工业检测中得到了广泛的应用。与传统的基于二维图像的测量技术相比，最近的研究工作主要集中在三维测量技术，如立体视觉[2]、激光三维扫描[3]、结构光传感[4]等。在各种基于三维视觉的测量方法中，结构光系统(SLS)具有测量精度和三维重建密度[5]的明显优势。SLS的基本原理是通过在目标上投射一些人工模式来解决传统立体视觉方法中相应的难题。一个基本的SLS包括一个投影仪和一个照相机。投影仪用于输出结构光模式，相机用于捕获目标图像的模式照明。根据编码策略，结构光模式可以是单个图像，也可以是图像序列[6]。利用系统标定参数，利用三角法[7]可以精确计算出含有编码信息的曲面点的三维坐标。

随着光学三维测量技术的发展，表面反射率特别是镜面反射仍然是结构光测量中一个具有挑战性的问题。由于目标表面反射率高，在捕获的图像中，投影模式往往会发生较大的退化，如图1所示。在过度曝光和欠曝光的图像区域，无法很好地提取投影的模式信息，严重影响了三维测量的精度。现有的结构光方法通常采用正弦移动模式。然而，这种基于强度的编码策略对表面反射率和纹理非常敏感[8,9]。在实际应用中，为了使它与反射表面一起工作，目标通常被喷上白色粉末。这样的程序通常是耗时和费力的。更重要的是，它极大地制约了SLS技术的应用。为了提高SLS方法对光学挑战性目标的鲁棒性，前人研究了二进制编码模式[10,11]、自适应正弦模式[12-14]和基于图像融合的结构化光方法[15-17]。然而，对于高反射率的目标，得到的结构光图像不是很亮就是很暗，这使得现有的SLS方法不适用。

本文研究了一种基于HDR的结构光方法，用于高光目标的精确三维重建。采用鲁棒二值条移法作为SLS编码策略。由于目标表面具有很强的反射性，因此捕获的图像通常包含大量的饱和和黑暗区域。而且不可能通过一次扫描来恢复这些区域的3D信息。受HDR摄影技术的启发，用不同的相机曝光设置对目标进行多次扫描。首先介绍了一种有效的估计相机响应函数的方法，该方法可将多幅曝光图像融合成高动态范围的单幅图像。然后通过引入衰减函数对生成的辐射图的动态范围在梯度域中进行压缩。为了使所有的SLS图像都符合统一的光照条件，选取中等曝光水平的图像作为参考图像，对原始融合图像进行微调。基于HDR结构光图像，可以实现镜面的精确三维重建。

论文组织如下。第2节简要回顾了相关的结构光方法。第3节介绍了相机响应函数的估计方法。第4节展示了如何使用融合图像生成最终的HDR结构光图像。实验结果和评价见第5节。第六部分是结论和未来可能的工作。

2. Related works

Gray code由于其简单性和鲁棒性，是结构光领域中最基本、应用最广泛的编码方案[5,6]。如果要使用码字长度为n的二进制灰度码模式，则需要按顺序投影由n+1个二进制长条模式组成的图像序列对场景进行编码。在解码过程中，将场景图像分成$2^n$个子区域，每个子区域有一个唯一的码字，码字的范围从1到$2^n$。通过引入极轴约束，实现了摄像机与投影仪传感器平面的一一对应。

基于灰度编码的SLS方法只能提供像素级的三维重建精度。为了获得亚像素级的测量精度，通常将正弦相移模式与灰度码模式结合使用。这些图案用灰度表示。在[9]中，为了在目标表面标记16个不同的区域，总共投射了4个Gy代码模式。然后，通过每次移动四分之一的周期，将正弦图形投影四次。对于相机图像中的每个像素，通过经典的移相算法[18]可以计算出其亚像素精度的相位值。一旦知道了图像点的相位，参考灰度编码标签就可以得到像素所在的周期。在[19]中引入了一种名为微相移的结构光方法。

关键的想法是将空间频率限制在一个狭窄的高频频带上的正弦图形投射出来。在高频移动模式下，全局光照和散焦效应在所有输入图像上保持不变。结果表明，对于分辨率为1024×768像素的典型投影设备，16像素的平均频率足以防止大量场景的全局光照误差。在[15,16]中，为了提高图像质量，将多曝光技术应用于正弦位移结构光系统。通过从不同曝光图像中选择信噪比高的图像像素，可以避免融合后的图像出现图像饱和现象。然而，在强度编码方案下，模式图像的曝光范围有限，无法处理强反射表面。在[17]中，采用了额外的反正弦模式来提高相位测定的精度。但它仍然不能处理镜面表面，因为反模式和原模式的图像强度都受到表面反射率的很大影响。

基于正弦相移的结构光方法依赖于光强，因此对表面反射率和纹理非常敏感。为了提高相移方法的鲁棒性，采用多线模式代替[10]中的正弦周期剖面。图案大小设计为640×640像素，每隔6列为白色，其余为黑色。通过连续移动线模式6次，可以覆盖模式的每一行的整个分辨率。对每个图像列进行编码时也采用了相同的移位方案，并采用灰度编码模式来解决局部周期模糊。线性移位法与正弦移位法具有相似的分辨率，但具有较高的鲁棒性。在反射面实验中，平均误差为0.03 mm，最大误差为0.28 mm。在[20]中，将行连接过程引入行移译码阶段。通过连接正确的线点并去除异常值，可以提高移线方法的鲁棒性和准确性。在[11]中引入了一种二元条带移位结构光方法。采用高频二进制带代替直线和正弦图形。当长条宽度为4个像素时，以1个像素的步长移动8次，产生4个正模式和4个负模式。提出了一种基于零交叉的特征检测器来计算正、负条纹图之间的条纹边缘。对亚像素精度的条带边缘进行4像素的周期模糊编码，采用经典的灰度编码模式解决局部周期模糊问题。与线性和正弦相移模式相比，基于二进制条边的相移模式对高反射表面具有更强的鲁棒性。

在[12]中，研究了一种场景自适应结构光方法。基于对场景几何和反射率特征的粗略估计，自适应地调整投影模式的局部强度范围，以避免图像的过度曝光和欠曝光。估计的几何图形还可以通过采样缩短的图案来消除混叠的影响。然而，这种方法通常需要先验的表面反射特性。在[13]中，通过迭代调整投影模式的强度，提出了一种自适应结构光方法。它可以很好地工作，一些反射目标与相对平面。此外，对每个模式像素进行迭代，使得整个计算过程非常耗时。在[14]中，在投影仪和目标之间放置了一个扩散器来缓和表面反射和阴影。扩压器与靶之间的距离应精心设计。距离越小，漫射照明的入射角度范围就越大，因此表面反射和阴影的减少就越大。

研究了基于结构光的方法重建镜面目标的三维表面[21-26]。在[22]中，将网格线模式放在曲面镜面前，由摄像机捕获曲面反射的虚拟图像。通过分析图像中网格线的结构，根据标定参数计算出网格点的位置和方向。然而，这种方法只能恢复曲面的参数，而不能处理任意形状。在[23]中，一个带状图案被用来在表面投射结构。圆形光源用于产生圆锥射线，并以这种方式照亮旋转的物体，这样高亮的条纹可以在大多数镜面表面上观察到。通过连续图像中高光的运动计算表面形状[24,25]。当灯光设置正确时，物体上的每个点都可以在旋转时高亮显示。利用对应的极面图像独立地测量每个旋转平面的形状，并结合不同旋转平面的形状重建三维模型。

综上所述，我们可以得出如下结论:基于强度的移动模式，如正弦模式，对表面反射率非常敏感，而二元线和条带移动模式相对稳健。但是，如果表面反射率太大，不能破坏模式结构，那么这种方法也不适用。对于自适应结构光方法，模式调整的范围通常是有限的，不适合高反射表面。镜像曲面的三维重建方法不能推广到一般的镜面情况。一般来说，高光表面的三维测量对于基于结构光的三维扫描技术来说仍然是一个具有挑战性的问题。

3. Estimation of camera response function

在我们的工作中，采用了二进制带移模式作为SLS编码策略。如图2所示，首先投影一系列n个灰度编码模式，将目标表面划分为$2^n$个子区域，每个区域有唯一的 n-bit灰度码字。然后，将宽度为4像素的二进制长条移位8次生成4幅正移相图和4幅负移相图。对于每个提取出来的带边缘点，将其所在区域的局部码字与全局灰度码字相结合，可以对其具有亚像素精度的图像坐标进行唯一编码。根据[11]的报道，这种方法已经证明了它对表面反射的鲁棒性。但对于高光目标，如图1所示，条带结构往往会被强表面反射率破坏或在暗区难以分辨。单次扫描无法完整、准确地重建目标。在HDR摄影技术的推动下，本文研究了一种基于HDR的结构光方法。

高动态范围成像是计算机视觉和摄影领域的重要技术之一[27-32]。使用HDR技术，可以将具有不同曝光水平的图像融合到单个高动态范围辐射图中。因此，在融合后的图像中，饱和和阴影区域的图像细节可以得到很好的保留。根据[27]的定义，假设场景是静态的，忽略光照变化，每个图像点的像素值I可以表示为:

其中f是成像系统的函数，$E_i$表示第$i$像素的辐照度，而$\Delta t_j$表示第j图像的曝光时间。设函数f是单调可逆的，令$g=ln{f}^{-1}$，(1)可改写为:

在（2）中，未知项是辐照度$E_i$和相机响应函数g。为了恢复辐照度，我们需要知道函数g。因为函数g的值是有限的，因为$I_{ij}$的值是有限的。然后利用不同曝光图像像素值的最小二乘拟合算法求解函数g。计算出相机的响应函数后，可以恢复像素的辐照度，将不同曝光的多幅图像融合成一张高动态范围的辐照度图。根据[27]中的方法，可以建立目标函数为:

其中N是图像像素的数量,M是许多不同的曝光时间,和$\omega (z)$是不同的像素值的加权函数,定义为:

$g”(z)$是g的二阶导数,可以计算$g”(z)=g(z-1)+g(z+1)-2g(z)$和$\lambda$是一个比例因子之间的平滑度和数据拟合的条件在我们的实验经验设置为10。

在[27]的原始工作中，考虑了所有不同曝光水平的图像点，采用奇异值分解(SVD)方法求解(3)。计算很费时间。在本文中，对原方法进行了如下改进。对目标图像进行随机下采样，得到具有不同曝光水平的稀疏图像点。根据采样的图像点，可以计算出(3)的一阶偏导数O '。过设置O '为0，可以得到一组线性方程，并通过迭代方法求解。此外，传统的HDR方法通常应用于z值从0到255变化的自然图像。对于具有表面反射率的结构光图像，z值通常是有限的。为了得到完整的响应曲线，对计算出的g(z)进行线性插值。图3所示为一组计算出的响应曲线，分别为50、100、200个采样点。通过观察，使用200个采样点就可以得到平滑的响应曲线。由于使用的图像点较少，计算速度也相应提高。

4. Generation of HDR Structured Light Images

通过计算得到的相机响应函数g，可以计算出任意图像像素的辐照度:

考虑的权重函数$\omega (z)$,上述方程可以写成:

通过将所有图像点输入到(6)，可以计算出关于响应函数g的辐射度图。

与具有积分强度值(0-255)的普通图像格式相比，辐射图的范围通常非常宽。为了将亮度映射转换为正常的图像格式，一种直接的方法是使用线性映射，但它通常会导致图像细节的丢失。一种可行且更实用的方法是压缩高动态范围辐射图的梯度[31,32]。

首先，从亮度图中计算梯度图像。对于每个像素，我们用相邻像素之间的差来表示梯度:

其中I(u, v)表示图像点(u, v)的像素值。

然后,一个衰减函数$\phi (u,v)$是用于压缩的梯度图像计算(7):

在上述计算中，较大量级的梯度减小，较小量级的梯度略有增大。函数$\phi (u,v)$可以计算从高斯金字塔:

我$∇I_K(u,v) $表示k-level梯度图像的高斯金字塔,$α$和$β$的规模因素控制衰减的影响。经验的$α$和$β$值设置为0.01和0.9在我们的实验。然后，泊松方程可以用来产生一个新的图像:

利用原始亮度图作为初始值，利用高斯-赛德尔方法[33]求解该方程。

所提出的HDR方法仅适用于特定模式光照下的一组不同曝光量的图像。换句话说，不同模式光照下的融合HDR图像不符合统一的光照条件。因此，得到的HDR图像不能直接用于三维重建。在这项工作中,我们选择一组结构光图像的中间暴露水平作为参考图像,例如结构光图像的曝光时间$\Delta t_{M/2}$。最终的HDR结构光图像可以计算为:

其中$I_0$为参考图像，$I_1$为原始融合图像，$I_{SLS}$为三维重建的最终结构光图像。
(11)中的所有图像强度均归一化为[0,1]范围。如果融合图像的像素值大于参考图像的像素值，则指数函数值大于1。因此，可以增加i1中曝光不足的图像点的像素值，反之亦然。最后，将归一化后的图像I SLS变换为强度范围为0-255的正常图像空间，得到最终的结构光图像。

5. Experimental results and discussions

实验装置由分辨率为1024×768像素的DLP投影仪(LG HX300G)和分辨率为2080×1552像素的摄像机(PointGrey FL3-U3-32S2M-CS, USB3.0接口，60fps)组成，如图4所示。开发了一个I/O控制器来同步摄像机和投影仪。目标被放置在距离投影仪约500毫米的地方。用[34]中的方法对系统进行了标定。根据二进制带编码方案[11]，有30幅图案图像要投影。相机与投影仪同步，1秒内完成一次3D扫描。

实验选用了不同形状的不锈钢冲压件。受不锈钢表面镜面反射率的影响，所捕获的结构光图像含有大量的暗、饱和区域。图5是一个星形冲压件的实验，图形被投影到目标表面的凸边。通过观测发现，在边缘尖锐或曲率较大的地表区域往往出现较强的反射率。其他的表面区域通常都很暗。在实验中，相机设置了6次曝光时间，分别为2 ms, 3 ms, 4 ms, 6 ms, 10 ms, 15 ms。从图5可以看出，在曝光时间较短的情况下，投影条纹只能在高反射区域识别。随着曝光时间的增加，投影到高反射表面区域的条纹被饱和和破坏，但在黑暗区域的条纹变得可见。相同的参数设置用于不同曝光的结构光图像集。重建后的三维模型由于曝光时间短，噪声大，不完整。由于曝光时间长，饱和图像区域的三维信息无法恢复。结果表明，在固定曝光次数的条件下，单次扫描无法实现该表面的三维重建。

如第4节所述，一组曝光时间为6 ms的结构光图像作为参考图像集，即$I _0 $in(11)。第一种结构光模式是一幅白色图像，用这种模式光照的图像对所提出的图像融合方法进行评价。融合后的图像$I _1$如图6a所示。根据(11)计算最终的HDR图像I SLS，如图6b所示。图6c所示为最终的带条形图照明的结构光图像。通过观察，投射在黑暗和大多数高光区域的光带在良好的曝光水平下变得可见。为了清晰地显示图像强度的变化，我们绘制了各种曝光图像的横截面，以及基于第一模式图像的再生HDR图像。如图6d所示，采用本文提出的图像融合方法，可以改善过曝区域的图像强度，降低过曝区域的图像强度。可以很好地恢复融合图像中图案条的结构。

利用再生的HDR结构光图像，可以得到曲面的三维重建结果，如图7a所示。为了评价重建模型的精度，在星状冲压件上喷涂白色粉末。将喷涂后的表面三维重建结果作为地面真值，如图7b所示。通过注册这两个三维模型，生成如图7c所示的误差图。绝对平均误差计算为0.06 mm，标准偏差为0.08 mm。最大误差±0.45 mm的区域主要出现在边缘尖锐的区域。这是因为，即使在极低的曝光水平下，带钢边缘信息也不能被精确地保存。图8是在冲压件上进行的另一个实验，将结构光图案投射到目标表面的凹面上。地面真实形状和直接扫描的三维模型分别如图8b和d所示。重构误差图如图8c所示。与图7的实验结果相似，在强烈的表面直接反射和相互反射作用下，表面脊线也会出现明显的误差。但是，绝对平均误差仍然可以控制在一定范围内
0.1毫米。在不同形状的冲压件上进行了更多的实验，如图9所示。通过实验和评价，验证了该方法的可行性和准确性。

6. Conclusion and future work

提出了一种用于高光目标三维重建的结构光方法。受HDR摄影技术的启发，用不同的曝光时间拍摄了多组结构光图像。为了将这些图像融合在一起，得到一组曝光质量得到改善的结构光图像，首先对相机的响应函数进行估计。为了获得平滑的响应曲线，降低计算成本，提出了一种基于降采样的方法。在动态范围压缩中，利用衰减函数根据计算出的梯度图像生成辐射图。为了使所有的结构光图像都符合一个统一的光照条件，选取中等曝光水平的图像集作为参考图像，对融合后的图像进行微调。在实验中，我们使用了一些镜面反射的不锈钢冲压件来评价该方法的可行性和准确性。结果表明，该方法能较好地重建不同类型的高光目标，且重建精度较好。未来的工作可以解决如何改进图像融合的方法，从而在最终的图像中保留更多的模式细节，特别是对于边缘锐利、曲率较大的表面区域。