论文《Adaptive Binocular Fringe Dynamic Projection Method for High Dynamic Range Measurement》学习

Abstaract

（SCI 2019 二区）利用条纹投影传感器进行三维测量是目前研究的热点。然而，大多数边缘投影传感器的测量精度和效率仍然受到图像饱和和投影仪非线性效应的严重影响。为了解决这一难题，结合立体视觉技术和边缘投影技术的优点，提出了一种自适应双目边缘动态投影方法。该方法通过自适应调整投影强度来避免图像饱和。首先，给出了该方法的流程图。在此基础上，提出了一种基于多阈值分割的自适应最优投影强度调整方法。最后通过双目变换和左机-投影仪映射建立双目饱和点与投影点的映射关系。实验结果表明，该方法能够实现较高的动态范围测量精度。

关键词: 三维测量;高动态范围;结构光传感器;自适应双目边缘动态投影;双目标定

1. Introduction

由于高速的优点,精度高,和全光场,条纹投影轮廓测定法(FPP)基于结构光传感器[1 - 3]已成为最有前途的三维(3 d)数据采集技术在许多领域,如质量控制(4 - 6),逆向工程(7、8),和其他(9 - 11)。条纹投影轮廓测量系统一般由一台摄像机和一台投影仪组成。通过FPP获得被测物体的三维数据需要三个步骤。首先，将设计好的条纹图案逐一投影到被测物体的表面上，同时将变形的条纹用相机进行捕捉。其次，利用变形条纹计算相位信息。最后，利用系统标定的参数，可以准确地重建被测物体的三维点云[1 - 3]。三维数据可以为表面检测、精密制造、自动装配等领域提供有效的评价手段。文献[1 - 3,6]表明FPP更适合漫反射面，且表面反射率变化不大。然而，当用FPP直接测量高动态范围(HDR)的物体时，边缘图像中会出现一些饱和区域，这对相位信息的完整性和测量精度提出了挑战。

针对大多数相机传感器难以通过硬件来提高动态范围这一问题，许多专家已经找到了解决这一问题的方法。这些方法可分为以下几类:多曝光法[12–14]、光强调整法[15，16]、颜色不变性法[17–19]、偏振法[20–22]、自适应条纹图法[23–27]等[28，29]。考虑到边缘图像的暗区和亮区需要不同的曝光时间，多重曝光法成为解决HDR问题的一种方法[12 - 14]。Zhang[12]提出了HDR扫描技术。从一组减少曝光的边缘图像中选择最亮但不饱和的像素来生成新的边缘图像。Song[13]提出了一种多曝光图像融合的主动反射抑制方法，实现高精度的三维测量。但是，对于多次曝光法，所需的曝光次数和每次曝光时间严重依赖于人的经验，目前还缺乏定量的方法来选择合适的曝光时间。光强调节法是另一种解决HDR问题的方法[15,16]。Kofman[15]将一系列最大输入灰度值递减的条纹图案投射到物体表面。利用最大灰度值而非饱和像素合成边缘图像。为了提高低反射率物体的信噪比，Babaie[16]提出了一种改进边缘投影系统动态范围的方法来测量具有不同表面反射率的物体。与多次曝光法类似，这种方法需要投射大量不同强度的物体，因此投射效率非常低。颜色不变性方法也被提出来解决HDR测量[17 - 19]。Benveniste和Unsalan[17]应用颜色不变方法解决了在不同环境照明下扫描明亮表面的问题。陈碧波提出了一种多视点融合不同颜色条纹的条纹模式投影方法。然而，颜色不变性方法的精度是有限的。极化方法已被发展来处理光泽表面问题[20 - 22]。在[24]中，利用带有散斑图案的极外图像来消除相互反射的影响。提出了一种基于全局能量最小化的偏振成像方法。显然，极化方法需要额外的硬件和时间。自适应条纹图案法是另一种解决方案，它根据摄像机-投影仪的对应关系来计算最优照度[23 - 27]。针对强内反射问题，Xu和Aliaga开发了一种自适应的对应算法[23]，它可能需要几个小时来检测一个未知的场景。Li和Kofman[24]提出了一种适应最大输入灰度的条纹模式投影方法。为了提高[25]测量过程中的信噪比，Lin提出了一种快速三维形状测量技术。Farahi[26]提出了一种基于投影仪-部分像机对应关系的反投影条纹技术。Zhang[27]研究了一种基于相机的强度响应函数来计算几组具有最优光强的条纹图的方法。然而，在计算最佳光强时，必须手动设置反射率分量的阈值。从投影效率的角度来看，自适应条纹图方法能较好地解决HDR问题。

然而，大多数的方法都是基于上述的方法，即对图像饱和和投影非线性伽玛效应敏感的方法。为了提高投影效率，减少图像饱和和非线性效应的影响，结合双目视觉和单目边缘投影的优点，提出了一种自适应的双目条纹动态投影方法，通过自适应调整像素到像素的投影强度。首先，给出了自适应双目条纹动态投影方法的流程图。在此基础上，提出了一种基于多阈值分割的自适应最优投影强度调整方法。最后，建立双目饱和点与投影点的映射对应关系，对饱和点的投影灰度进行修正。

组织机构如下。第二部分介绍了FPP的基本原理。第三部分详细介绍了自适应双目条纹动态投影方法。实验结果见第4节。结论在最后一节中给出。

2. Principle of Fringe Projection Profilometry

为了获得更高的精度，采用了正弦条纹图和相移法。对于一个边缘投影传感器系统，由于其在精度、点密度、效率等方面的优异性能，大多数研究都采用了数值步移相算法[2,3]。投影强度可以表示为:

$I_A$是平均强度,$I_B$是强度调制,$\varphi$的阶段需要解决和N是相移的数量的步骤。相位值可以描述为:

如式（2）所示，相位值受高次谐波的影响，高次谐波也是产生相位误差的重要因素。由于使用了反正切函数，因此求解了具有2π不连续性的范围（－π，π）的相位值。通常，FPP的连续相位需要通过相位展开算法来展开[2]。

通过上述得到的连续相位，结合文献[30，31]中讨论的标定参数，可以计算出物体的三维形状。通常，三步移相算法和四步等相移相算法在三维形貌测量中得到了广泛的应用[2]。考虑到测量精度和相位计算量，四步移相算法更适合于后续的研究。

3. Adaptive Binocular Fringe Dynamic Projection Method

为了扩大边缘投影技术的应用范围，本节介绍了用于HDR测量中图像饱和问题的自适应双目边缘动态投影方法(ABFDP)。为了提高点云的获取范围，减少拟合误差[31,32]，本文利用投影仪精度高、无伽马效应的优点，选择了具有边缘投影的双目视觉。

3.1. Flowchart of ABFDP Method

所提出的自适应双目条纹动态投影方法的流程图如图1所示。主要步骤如下。

• 步骤1。自适应最优投影强度。在这一步中，我们使用强度响应函数和多阈值分割来生成修改后的边缘图像。它的基本原理是利用双目摄像机采集到的变形边缘图像的反馈信息，对边缘图像进行迭代修正。
• 步骤2。双目系统校准。通过双目系统标定，得到双目图像与投影仪图像的映射对应关系。
• 步骤3。相匹配。在计算绝对相位后，根据双目系统中同名点相位相等的原理，得到双目匹配点。
• 步骤4。点云的收购。在此步骤中，利用三角法原理获取目标点云信息。

与其他HDR方法相比[23 - 27]，ABFDP方法将高动态范围的测量从单目视觉投影扩展到双目视觉投影。强度修正掩模是在没有已知几何信息的情况下计算得到的。该方法减少了条纹数目和投影迭代次数，避免了复杂的矩阵计算，提高了投影效率。ABFDP方法通过曲面反射率的多阈值分割，可以自适应地计算出最佳投影强度。自适应投影模式可以针对不同的对象自动更新。通过双目变换和左摄像机-投影仪映射，建立了双目饱和点与投影点的映射关系。

3.2. Adaptive Optimal Projection Intensity Method

在双目条纹投影系统中，如图2所示，使用DLP投影仪生成正弦条纹图案，并将条纹图案投影到物体表面，对其形状信息进行编码。用双目摄像机同时捕获被测物体表面调制的变形条纹。采用四步相移法计算了包相图和未包相图。对于一个物体点$P^W$和一个投影仪图像点$P^P$，如果左摄像头图像上的两个点$P^{LC}$对应于右摄像头图像上的点$P^{RC}$，则$(P^W,P^P,P^{LC},P^{RC})$称为同源点。在双目FPP中，同源点具有相同的相位值，通过相位值可以获得双目匹配点的坐标。从而利用立体匹配技术计算出目标点$P^W$。


其中$(x,y)$和$(u,v)$分别表示摄像机坐标和投影仪坐标中的像素坐标。由于传感器的噪声，I服从高斯分布，对于给定的系统相机灵敏度和曝光时间为常数，$I^{n^{\prime }}=I^{\prime }/kt$也服从高斯分布。因此，(3)式可改写为


假设在测量过程中，a和b的值是恒定的。令$J={\sum }_{i=1}^n(I_i^C-a{x}_{i1}-b{x}_{i2}{)}^2$。为了使J最小，可以得到J关于a和b的偏导数，它们都等于0[25]。

式(7)的化简为:

从方程(8)-(10)中，理论上有两种模式可以充分解出a (x, y)和b (x, y)。假设物体的反射率不变，将一组具有不同光强的均匀模式投射到被测物体上，以提高精度。如果使用n个模式，则式(10)可表示为矩阵形式

因此，式(11)方程组的解为：

然后估计每个像素的表面反射率为$\hat{a}$，环境光和表面互反射光强度为$\hat{b}$，投影仪-摄像机的响应函数可以简化为：

方程(13)是所谓的非线性强度projector-object-camera响应函数,它显示了对于一个给定的对象和测量现场,边缘的灰度值图像像素摄像头捕捉到的强度取决于投影光$I^P$,相机增益k, t和曝光时间。如果相机增益和曝光时间保持不变，$I^C$只取决于$I^P$。根据式(13)，可以计算出最优投影灰度值，以保证相机捕捉到的边缘图像像素灰度值处于合适的范围内。最优投影灰度级可由强度响应函数的反函数计算得到:

从理论上讲，摄像机捕捉到的最佳强度$I_{opt}^C$应避免饱和，并具有高对比度。考虑到系统噪声，我们必须保留一定的灰度空间以避免饱和。对于8位相机，让$I_{opt}^C$为240。由强度响应函数推导出相应的最优投影光强$I_{opt}^P$，可改写为：

由式(15)可以看出，对于不同反射率的表面，边缘图像中每个像素的最佳投影灰度是不同的，即，各像素的反射率不均匀，各像素的环境光与表面互反射强度也不均匀。由式(15)可知，每个像素对应一个最优投影强度$I_{opt}^P$是对于高达几百万像素的高分辨率图像，其计算复杂度显然非常大，不利于在线测量。由式(13)和式(15)可知，投影光强与a(x, y)和b(x, y)的分布有关。因此，表面反射率分量可以划分为几个区间，每个区间对应一个投影光强。因此，间隔长度的大小直接影响测量结果。间隔越小，设置的光强越多，提高了测量精度和效率。因此，如何将surf划分为若干个区间是非常重要的。文献[27]对地表反射率的人工经验分类取得了较好的效果。然而，区间划分的方法依赖于手工经验，不同的人得到的结果是不一致的。

为了实现区间自动分割，在考虑曲面反射率和曲面反射率邻域特性的基础上，引入二维Otsu (2D Otsu)[33]方法进行阈值分割。如图3所示，设(s, t)为阈值，则目标反射率的二维直方图可分为四个区域。从直方图上看，该值接近目标和背景处的场的平均值，以及反射率值与边界处场的平均反射率值的差值。

根据[33]，令r (x, y)为地表反射率值，d为正方形邻域窗口的宽度，反射率的邻域均值定义为：

由f (r,n)和p (r,n)定义(r,n)的频率和联合概率，目标和背景的概率分别为

为了便于区分，在计算背景概率时，反射率增加了0.001。我们可以将目标和背景之间的离散测度矩阵定义为[33]

因此，离散测度矩阵的迹，即距离测度函数，可表示为:

设$(s^{\ast },t^{\ast })$为二维最优分割阈值。

其中$k=(k_s,k_t,k_m)$是比例因子。阈值T可将地表反射率划分为(0,T 1]， (T 1,T 2]， (T 2,T 3]， (T 3,T 4}四个区间。$b_i$是每个区间对应的b (x, y)的最大值。对应的投影光强可以表示为

对于四步相移算法，条纹图的平均强度$I_A$和强度调制$I_B$分别由

由式(22)和式(23)可得四步条纹图相移组$G_i^N$如下:

3.3. Mapping Correspondence of Binocular Saturation Point and Projection Point

在3.2节中，自适应最优投影强度法求解了投影强度的大小。本小节将通过将它的图像坐标映射到投影仪的图像坐标系统来回答在什么地方应该有合适的投影强度。

根据双目条纹投影系统的工作原理[34,35]，需要进行立体视觉标定，即得到左右摄像头的内外参数，以及左右摄像头之间的旋转和平移关系。摄像机标定原理通常是基于孔径成像模型。对于左边的相机[35]，我们有

其中$(x_w,y_w,z_w,1{)}^T$表示任意空间点的世界坐标，$(u_L,v_L,1{)}^T$为左摄像头图像中该点的像素坐标，$A_L$为左摄像头的内部参数，$R_L$，$T_L$分别为左摄像头的旋转矩阵和平移矩阵，$M_L$为左摄像头的投影矩阵。

同样，对于右相机，我们有

$(u_R,v_R,1{)}^T$的像素坐标点正确的相机图像,$A_R$是正确的相机的内部参数,$R_R,T_R$旋转矩阵和翻译矩阵分别为正确的相机,和$M_R$是正确的相机的投影矩阵。

通过标定单眼摄像机$[R_L,T_L]、[R_R,T_R]$和内部参数$A_L、A_R$，可以得到两个摄像机的外部参数。假设空间点P W在左右摄像头成像平面上的投影点分别为$P_R、P_L$，则可以建立坐标系[35]

假设两个摄像机之间的旋转和平移矩阵为[R T],因此:

以上就是双目相机的标定过程，从而得到左右摄像头的转换关系。在对DLP投影仪进行标定时，通常假定投影仪是一个反向摄像机，左侧摄像机与DLP投影仪构成一个双目系统。相机与投影仪也可以通过上述过程进行校准，从而得到相机与DLP投影仪的内外参数及其相互关系。点的像素坐标$m_P(u_P,v_P)$在图像平面上的投影对应点$(x_W,y_W,z_W)$在世界坐标,而相应的$m_L(u_L,v_L)$的左相机,

其中$A_P$为投影仪的内部参数，$R_P$为旋转矩阵，$T_P$为平移矩阵。

由式(25)可得左相机图像点坐标与投影图像点坐标的映射关系为:

由式(25)和式(26)可得双目摄像机的内外参数。右相机与左相机的变换关系如式(28)所示，左相机与投影仪的映射关系如式(30)所示。此外，对于左侧相机图像的饱和点，可以通过映射得到投影图像点的对应坐标。对于右相机图像的饱和点，利用式(28)将投影图像点的坐标变换为左相机图像的坐标，然后利用式(30)得到投影图像点的坐标。因此，我们进行了自适应投影灰度校正。

综上所述，本文方法的计算过程如下:

• 步骤1。双筒照相机及左摄影机-放映机校正。这一步主要用来获取相机和投影仪的内外参数，以及相机和投影仪的转换关系。
• 步骤2。将一组光强投射到物体表面，得到物体表面的反射特性和最佳投影灰度。
• 步骤3。左右摄像头同时采集四步相移图像。首先对双目摄像机中的饱和点进行识别，然后根据步骤1得到投影图像中的对应点。
• 步骤4。将校正后的条纹图像投影到物体表面，计算绝对相位。因此，可以通过点云拟合得到目标的直径结果。

4. Experiments and Results

在本节中，我们尝试进一步评估所提出的方法。这里列出的所有模拟都是在Matlab R2018b中实现的，在一台配备了2.50 GHz CPU和4G RAM内存的笔记本电脑上。为了验证我们的方法的性能，我们建立了一个由数字光处理(DLP)投影仪(型号PDC03，福州巨人维达光电科技有限公司)组成的条纹投影系统。投影速度30 fps, 1280×800像素，2个工业CMOS摄像头(型号:IDS UI-3370CP-M-GL，由德国奥伯苏姆的idsimaging DevelopmentSystems GmbH公司生产)。该相机的分辨率为2048×2048像素，帧率高达80帧每秒。本实验获取的点云数据拟合用于计算直径，由美国Geomagic, Inc.公司制造的Geomagic Studio®2013进行处理。实验系统的照片如图4所示。该系统在实验前进行了校准。通过实验验证了该方法的有效性。

4.1. Mixed Reflectivity Materials Experiment

为了验证自适应最优投影强度法的有效性，选取铝合金框架玻璃棋盘格作为一个样本进行验证。如图5-7所示，所包围的框架比玻璃棋盘格具有更高的反射率特性。将均匀的光强投射到棋盘上，然后捕捉相应的图像。可以看出，随着投影光强的增加，图像对比度呈现出增强的趋势。



从图5-7可以看出，铝合金材料的反射率特性明显强于棋盘格材料。从图5和图7e中可以看出，左侧相机捕捉到的图像区域始终处于直接反射状态。即使光强很小，这个区域也总是处于饱和状态。从图7可以看出，棋盘格白色区域的反射率明显高于黑色区域，而黑色区域的环境光强较高。如图7所示，若采用Zhang’s method[26]，地表反射率可分为(0,1]，(1,2]，(2,2.7)三个区间。对应的投影光强为

若采用我们提出的方法，将左侧相机图像的表面反射率分为三个区间:(0,1]，(1,1.7]，(1.7,2.2]，和(2.2,2.7))，右侧相机图像的表面反射率分为三个区间:(0,1]，(1,1.6]，(1.6,2.3)，和(2.3,2.7))。对应的投影光强为

与张的方法相比，自适应最优投影强度法对饱和区域有更好的适应性，可以根据物体的反射率特性对灰度进行微调。

4.2. Shiny Metal Objects Experiment

在对具有高动态反射率表面的金属物体进行测量前，验证了条纹投影系统的精度。设计了三个校准球，如图8所示，需要测量它们的直径。为了更好地评价系统的精度，选择三坐标测量机(CMM)的测量值作为实际值。在商业软件Geomagic Studio中，通过对点云信息进行球面拟合，可以得到标定球的直径结果，如表1所示。


从表1可以看出，与三坐标测量仪的测量误差值相比，三坐标测量仪的测量误差值分别为0.0055mm、0.0051mm和0.0041mm，这意味着边缘投影系统具有更高的测量精度。

在工业领域，由于材料和表面粗糙度的影响，金属物体具有较高的反射率特性，这限制了非接触测量方法的应用。为了验证本文方法对金属工件的测量效果，设计了如下两个铝工件，如图9所示。测量要求是用圆柱$C_a$和$C_b$测量阶梯圆柱对象的直径，用圆柱$C_C$测量圆柱壳对象的直径。与标定球相似，通过对点云信息进行圆柱拟合，也可以得到阶梯圆柱的直径结果。

对于HDR对象直径测量的要求，以CMM测量值作为实际值。为了验证算法的正确性，将本文方法与线激光法(LL法，模型:LMI Gocator 2430，分辨率X: 0.037mm，分辨率Z: 0.006mm，点1940)、传统的边缘投影法(FPP法)和自适应平差法(自适应法)进行了比较，如表2-4所示。为了观察测量精度和重复测量精度，采用不同方法进行10次测量，计算平均值(MV)、标准差(STD)、均方根误差(RMSE)和平均绝对误差(MAE)作为评价指标。为了便于可视化比较，表2-4中的测量值在图10中以图形方式显示。



图11显示了C a和C b两种圆柱体的条纹图案。从图11a,d可以看出，为了降低高亮区域的强度，传统的FPP方法对边缘图像采用较低的投影灰度。虽然局部高亮区域可以减少，但图像对比度较低，且大部分灰度处于投影非线性区域50以下。在图11b,e中，与传统的FPP方法相比，自适应方法的边缘对比度有了明显的提高，但局部区域仍有较大范围的亮区，属于镜面反射。如图11c,f所示，ABFDP方法的条纹对比度明显高于传统FPP方法和自适应方法。虽然部分条纹局部饱和，但大部分灰度在50 - 200的投影线性区域内。通过相移算法得到圆柱的点云，将点云数据导入Geomagic studio软件进行圆柱拟合，得到拟合效果，如图11g-i所示。

从表2-4可以看出，不同的测量方法受到金属表面问题的影响。直线激光法的平均绝对误差为0.139 mm， - 0.892 mm， - 0.909 mm。检测精度低的原因是直线激光法只采集较短弧的点云，点云的最大数量为1940。它属于基于短弧的圆拟合或椭圆拟合，众所周知，在拟合短弧时存在高误差放大问题[32,36]。同时，对于金属高亮度物体，线激光条纹仍处于过饱和状态，容易导致条纹中心识别精度下降，影响点云的准确提取。从表2-4和图10、11可以看出，金属表面的光亮对传统的FPP方法影响较大，导致图像过饱和度高，大面积缺少点云。同时，测量误差的波动较大，难以获得物体的真实值。虽然传统的边缘投影法的点云信息要比直线激光法的点云信息好得多，但是由于金属表面的影响，局部部分区域过于饱和，导致点云信息无法采集。当这些点云用于圆形拟合时，仍然属于分段短弧拟合问题。与上述两种方法相比，自适应方法对于高亮度表面可以获得更多的点云信息，其中MAE值分别为0.037 mm、0.047 mm和−0.113 mm。此外，自适应方法收集的点云信息优于传统的FPP方法。然而，由于受金属表面光亮的影响，仍有一些区域无法提取点云信息。与其他三种方法相比，本文提出的ABFDP方法有效地减小了HDR反射的影响，测量结果更接近三缸的实际值。ABFDP方法的平均值为199.774 mm，分别为239.766 mm、276.270 mm, RMSE值分别为0.026 mm、0.028 mm、0.032 mm
MAE值分别为0.023 mm、0.025 mm和- 0.029 mm。从图10和图11可以看出，与其他三种方法相比，ABFDP方法的平均绝对误差和波动较小，更接近于实际值。同时，从图10d可以看出，随着物体直径的增大，这种方法的平均绝对误差也会增大。原因是随着物体尺寸的增大，被测点云对应的圆弧变小，导致点云拟合后误差增大。从图11可以看出，本文方法的点云完整性优于传统的FPP方法和自适应方法。但目前仍有部分地区存在点云丢失现象。这些区域直接与左右摄像头相对，即使光线强度很低，也会被摄像头饱和。以上实验表明，ABFDP方法可以获得高精度的三维测量结果。

综上所述，我们可以看出，使用条纹投影法测量直径时，物体表面的反射特性和物体的大小都会影响最终的检测精度。与几种测量方法相比，ABFDP法测量HDR的总体性能最好。

5. Conclusions

本研究针对HDR测量问题，提出了一种自适应双目条纹动态投影方法，减少了条纹数目，避免了复杂的矩阵计算。摘要根据饱和点的反射率信息，提出了一种基于多阈值分割的投影强度自适应优化方法。通过双目标定和摄像机投影变换关系，得到双目饱和点与投影点之间的映射关系。实验结果表明，所提出的ABFDP方法具有精确测量HDR目标的能力。

与大多数基于FPP的三维重建方法相似，该方法也存在一定的局限性。当物体靠近镜面反射时，即使有一点光强，捕捉到的条纹图像也总是饱和的，这是以后需要解决的问题。