Depth acquisition with the combination of structured light and deep learning stereo matching

这篇文章发表在 2019 年的 Signal Processing: Image Communication，这是一个二区的期刊。

1. 研究问题

结合立体匹配和相移法，以解决立体匹配无纹理区域问题和相移法相位展开的遮挡问题。

2. 研究方法

采用一对具有丰富结构光信息的左右侧图像，通过无监督立体匹配网络获取粗深度图。粗深度图用于指导相位展开，获得精细而准确的深度图，另外，粗深度图还可用于填充遮挡区域的深度数据。两者的结合可以在复杂场景中实现更好的深度感知。

2.1 实验平台和算法流程

2.2 粗深度图获取

文章利用一个简单的无监督立体匹配网络来估计视差图，然后由标定参数得到粗深度图。

2.3 包裹相位和相位展开

1.包裹相位

2.相位展开

下图是左相机和投影仪之间的对极几何示意图。

根据对极约束，我们可以得到与相机像素匹配的投影仪像素列坐标：

其中，$z_0$ 就是无监督网络获得的粗略深度图。然后我们可以根据这个列坐标进行相位解包裹，最终的投影仪精细列坐标如下：

根据$y_a$，我们根据三角测量原理，可以得到精深度如下：

2.4 遮挡区域深度填充

在遮挡区域，结构光图像缺失深度信息，因此造成相应区域的深度有误，这是结构光三维重建方法的缺点，本文提出利用粗深度图的遮挡区域深度进行填充。这里，我们首先要通过粗深度和精深度的对比找到遮挡区域，然后我们才能对遮挡区域进行填充。

上面的整个流程如下所示：

3. 实验结果

3.1 定量分析

3.2 定性分析

4. 结论

本文提出了一种结合结构光和深度学习立体匹配来计算深度的新方法。实际实验证明，该方法可以实现准确的深度图并减轻深度感知中的遮挡问题。