基于深度学习的单帧相位展开论文(1)

论文题目：Deep-learning-enabled geometric constraints and phase unwrapping for single-shot absolute 3D shape measurement (2020年)

论文原文链接

摘要：

条纹轮廓测量技术(FPP)在智能制造、缺陷检测和其他的一些领域起到了越来越普遍的应用。在FPP中，如何高效的恢复绝对香味一直是一个巨大的挑战。基于几何约束的立体相位展开(Stereo Phase Unwrapping, SPU)技术可以在不投影任何额外模式的情况下消除相位模糊，从而最大限度的提高绝对相位的检索效率。

受到最近深度学习在相位分析方面取得的成功的启发，我们证明深度学习可以成为一种有效的工具，将相位检索、几何约束和相位展开有机地统一到一个综合框架中。在大量训练数据集的驱动下，神经网络可以逐渐“学习”如何将一种高频条纹图案转化为“有物理意义”和“最有可能”的绝对相位，而不是像传统方法那样“一步一步”的进行相位展开。基于经过适当训练的框架，仅基于单帧投影就可以实现高质量的相位检索和鲁棒的相位模糊消除。

实验结果表明，与传统的SPU相比，我们的方法可以在更大的测量体积和更少的相机视图中更有效、更稳定地解开密集条纹图像的相位。我们还讨论了所提出方法的局限性。我们相信，所提出的方法代表了在从单个条纹图案对复杂物体进行高速、高精度、无运动伪影的绝对 3D 形状测量方面向前迈出了重要一步。

介绍

为了实现高速场景下的3D测量，通常通过减少每次重建所需的图像数量来提高测量效率。最理想的方法是在单帧图像中获取3D数据。最近，我们利用深度学习实现了单个条纹图案的高精度相位获取${}^{[10,11]}$。然而，上述的工作只是为了获取单帧包裹相位，为了实现3D测量，还需要进行相位展开(这就是本论文所解决的问题)。最常见的相位展开方法是时间相位展开(TPU)算法${}^{[12,13]}$，它一般借助格雷码图案或者多频率条纹来恢复绝对相位。然而，额外模式降低了测量效率。基于几何约束的立体相位展开(SPU)${}^{[14]}$方法可以通过多个摄像机和一台投影仪之间的空间关系来解决相位模糊问题，而无需投影任何辅助图案。

尽管比传统方法需要更多相机(至少两个)，SPU 确实最大限度地提高了 FPP 的效率。然而，传统的SPU通常不足以鲁棒地解开密集条纹图像的相位，而增加条纹频率对于测量精度至关重要。为了解决上述问题，我们通常从以下四个方向提出辅助算法： (1)第一个方向是利用空间相位展开法${}^{[15]}$来减少SPU的相位展开误差。由于空间相位展开的缺点，这些方法无法处理不连续或不相交的相位。 (2)第二方向是通过在条纹图案中嵌入辅助信息来增强 SPU 的鲁棒性${}^{[17,18]}$。由于该方法采用了强度信息的辅助，因此该算法对环境光噪声和物体表面反射率及其敏感。 (3)第三方面是增加视角数量，通过更多的几何约束恢复绝对相位${}^{[19]}$。该方法更适合复杂场景测量，但代价是硬件成本增加。此外，简单的增加视角数量并不足以解开密集条纹相位，还需要结合深度约束策略${}^{[20,22]}$。然而，传统的深度约束策略只能在较窄的深度范围内展开相位，并且如何设置合适的深度约束范围向来是一个问题。自适应深度约束${}^{[5,23]}$策略可以扩大测量体积并自动选择深度约束范围，但前提是第一次测量可以获得正确的绝对相位。

从以上讨论不难看出，虽然SPU最适合高速场景下的3D测量，但它仍然存在一些缺陷，例如测量体积有限、无法鲁棒地实现高频条纹图像的相位展开、丢失由于依赖多帧相位采集方法而影响测量效率、算法实现的复杂性等。受深度学习在FPP${}^{[10,11,27,28]}$中的成功以及几何约束的进步的启发，在我们之前基于深度学习的工作的基础上，我们进一步将深度学习推向阶段展开，并将几何约束纳入神经网络。在我们的工作中，几何约束隐含在神经网络之中，而不直接使用校准参数，这简化了相位展开的整个过程，并避免了各种参数的复杂调整。 通过大量的数据训练，网络可以“学习”从单帧投影中获得“有物理意义的”绝对相位，而无需传统的“逐步”计算。与传统的 SPU 相比，我们的方法在更大的范围内以更少的视角更稳健地解开更高频率的相位。此外，结论和讨论部分还分析了所提出方法的局限性。

原理

A 使用PS和SPU进行相位检索和相位展开

如FIG1所示，典型的基于SPU的系统由一台投影仪和两台摄像机组成。条纹图像由投影仪投射，然后由物体调制，最后由两个相机捕获。对于Camera1中的任意点$O^{C_1}$，它具有对应于k个绝对相位的k个可能的条纹阶次，通过Camera1和Projector之间的校准参数可以重建K个可能的3D候选点。检索到的候选点可以投影到Camera2中以获得其相应的2D候选。在这些2D候选点中，一定会有一个正确的匹配点，它比其它候选点具有与$O^{C_1}$更相似的包裹相位。 利用这一特性，可以通过相位相似性检查来确定匹配点，从而消除$O^{C_1}$的相位模糊。然而，由于校准误差和环境光干扰，一些错误的2D候选点可能比正确的匹配点具有与$O^{C_1}$更相似的相位值。而且，使用条纹的频率越高，候选者越多，这种情况就越有可能发生。

为了增强SPU的稳定性，常见的方法是增加视图的数量或者应用深度约束策略。前者以增加硬件成本为代价，进一步将Camera2的2D候选点投影到第三甚至第四相机中进行相位相似性检查，以排除更多错误的2D候选。后者以增加算法复杂度为代价，可以提前排除深度约束范围之外的一些错误的3D候选。一般来说，具有至少三个相机并辅以ADC (最复杂的深度约束算法)的SPU可以在第一次测量获得正确的绝对相位的前提下实现鲁棒的相位展开${}^{[5,23]}$。然而复杂的系统和算法使得这种策略难以实施。

B 通过深度学习进行相位检索和展开

理想的SPU应该是仅使用两个相机和单帧投影来实现大体积中密集条纹图像的鲁棒相位展开，而不需要任何复杂的辅助算法。所提方法的流程图如FIG2所示。我们构建了两个具有相同结构（除了不同的输入和输出）的四路径卷积神经网络（CNN1和CNN2）来学习获得高质量的相位信息并解开包裹的相位。

本文算法步骤：
Step1：为了实现高质量的相位信息检索，本文考虑使用传统PS算法的模式。我们将Camera1和Camera2采集到的单帧条纹图像分别输入CNN1，输出的是两个条纹图案对应的反正切函数的分子M和分母D。这种策略绕过了因为反正切函数而造成的相位包裹。${}^{[10]}$
Step2：在获得预测的分子和分母之后，根据以下公式可以得到Camera1和Camera2的高精度包裹相位。
$$\varphi =arctan\frac{M}{D}=arctan\frac{{\sum }_{n=0}^{N-1}{I}_{n}sin(2\pi n/N)}{{\sum }_{n=0}^{N-1}{I}_{n}cos(2\pi n/N)}$$
Step3：为了实现相位展开，受到基于几何约束的SPU的启发，SPU可以通过多个视角之间的空间关系消除相位模糊，两个视角的条纹图像被输入到CNN2中。同时，本文还将使用参考平面信息辅助相位展开${}^{[30]}$的想法集成到网络之中。参考平面的数据添加到输入到网络之中，使得 CNN2 能够更有效地获取被测物体的条纹阶次。因此，两个相机捕获的原始条纹图案以及参考信息（包含两个相机捕获的参考平面的两张条纹图像，以及相机1视角下参考平面的条纹顺序图）被输入到CNN2之中。CNN2的输出是Camera1中被测物体的条纹阶次图。
Step4：通过前面步骤获得的包裹相位和边缘阶数，可以通过以下公式恢复高质量的展开相位。
$$\Phi =\varphi +2k\pi$$
Step5：获取高精度绝对相位后，可以利用两个相机之间的标定参数${}^{[31]}$进行3D重建。

相关参考文献：
深度学习实现了单个条纹图案的高精度相位获取
[10] S. Feng, Q. Chen, G. Gu, T. Tao, L. Zhang, Y. Hu, W. Yin, and C. Zuo, “Fringe pattern analysis using deep learning,” Advanced Photonics 1, 025001 (2019).
[11] S. Feng, C. Zuo, W. Yin, G. Gu, and Q. Chen, “Micro deep learning profilometry for high-speed 3d surface imaging,” Optics and Lasers in Engineering 121, 416–427 (2019).

时间相位展开算法：
[12] C. Zuo, L. Huang, M. Zhang, Q. Chen, and A. Asundi, “Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review,” Optics and Lasers in Engineering 85, 84–103 (2016).
[13] Z. Zhang, C. E. Towers, and D. P. Towers, “Time efficient color fringe projection system for 3d shape and color using optimum 3-frequency selection,” Optics express 14, 6444–6455 (2006).

基于几何约束的立体相位展开方法(SPU)
[14] T. Weise, B. Leibe, and L. Van Gool, “Fast 3d scanning with automatic motion compensation,” in 2007 IEEE Conference on Computer Vision and Pattern Recognition (IEEE, 2007) pp. 1–8.

SPU改进方法： (条纹中嵌入辅助信息)
[17] W. Lohry and S. Zhang, “High-speed absolute three-dimensional shape measurement using three binary dithered patterns,” Optics express 22, 26752–26762 (2014).
[18] T. Tao, Q. Chen, J. Da, S. Feng, Y. Hu, and C. Zuo, “Real-time 3-d shape measurement with composite phase-shifting fringes and multi-view system,” Optics express 24, 20253–20269 (2016).
(增加视角数量)
[19] T. Tao, Q. Chen, S. Feng, Y. Hu, M. Zhang, and C. Zuo, “High-precision real-time 3d shape measurement based on a quad-camera system,” Journal of Optics 20, 014009 (2017).

深度约束策略：
[20] C. Bräuer-Burchardt, C. Munkelt, M. Heinze, P. Kühmstedt, and G. Notni, “Using geometric constraints to solve the point correspondence problem in fringe projection based 3d measuring systems,” in International Conference on Image Analysis and Processing (Springer, 2011) pp. 265–274.
[22] X. Liu and J. Kofman, “High-frequency background modulation fringe patterns based on a fringe-wavelength geometry-constraint model for 3d surface-shape measurement,” Optics Express 25, 16618–16628 (2017).

自适应深度约束：
[5] T. Tao, Q. Chen, S. Feng, J. Qian, Y. Hu, L. Huang, and C. Zuo, “Highspeed real-time 3d shape measurement based on adaptive depth constraint,” Optics express 26, 22440–22456 (2018).
[23] J. Qian, T. Tao, S. Feng, Q. Chen, and C. Zuo, “Motion-artifact-free dynamic 3d shape measurement with hybrid fourier-transform phase-shifting profilometry,” Optics express 27, 2713–2731 (2019).

用于单次结构光轮廓测量的深度神经网络:
[27] S. Van der Jeught and J. J. Dirckx, “Deep neural networks for single shot structured light profilometry,” Optics express 27, 17091–17101 (2019).
[28] W. Yin, Q. Chen, S. Feng, T. Tao, L. Huang, M. Trusiak, A. Asundi, and C. Zuo, “Temporal phase unwrapping using deep learning,” Scientific Reports 9, 1–12 (2019).