#每天一篇论文 265/365 Real-Time Dense Depth Estimation using Semantically-Guided LIDAR Data Propagation an

使用语义引导的雷达数据和运动双目相机的实时稠密相机重建

使用稀疏雷达数据和语义边界引导从图像序列估计稠密深度

Real-Time Dense Depth Estimation using Semantically-Guided LIDAR Data Propagation and Motion Stereo

摘要

本文提出了一种基于稀疏激光雷达点云和图像序列估计稠密深度图的方法。我们提出的方法依赖于基于语义分割的已知深度向缺失区域的方向偏移传播。此外，我们将不同的对象边界划分为封闭或连接，以限制数据传播的范围。对于缺失点云数据较大的区域，采用运动立体法进行深度估计。我们将我们的方法嵌入到一个有界插值策略中，该策略还考虑了像素距离、深度差和颜色梯度。然后，执行基于张量的TGV-L2去噪优化步骤。结果表明，方向传播和语义边界分类可以提高不同类型对象沿边界插值的精度。此外，我们的运动立体方案提高了在缺失点云数据较大的区域外推深度的可靠性。最后，我们证明了我们的实现策略能够实时获得可靠的结果。

贡献

本文使用LIDAR数据作为锚定点，根据锚定点来确定未知像素的深度值。在此基础设计为依赖于几何、颜色、运动和语义分割等特性。我们还通过使用我们提出的边界类标签来改进对象边界的处理，该标签根据语义类之间的关系调整相邻深度值的效果。
提出了一种基于语义类的序列数据插值和外推方向关联的定向传播方案。此外，在激光雷达点很少的部分，使用运动立体深度使外推更加可靠。最后，我们执行一个全局优化方案，以进一步平滑产生的深度，并利用视觉边缘信息细化对象边界。

方法

作者在激光雷达测量的点云的基础上，增加了
A. Semantic Segmentation
B. Boundary Labeling
C. Motion Stereo
D. Propagation and Optimization
作为推测深度缺失区域，或者深度稀疏区域的深度值
在本文中，假设一对来自单个相机系统的图像是实时的，但是我们的方法很容易扩展到多个图像和/或多个相机系统（双目或多视角立体）。我们的目标是通过在已知点之间有一点间隙的区域内插值已知深度图，并在深度完全未知的区域外推，来估计一个完整而密集的深度图。利用图像对的颜色梯度、语义类、运动立体等信息，将已知深度传播到缺失区域。在传播之后，我们执行全局优化步骤，以进一步改善生成的深度图的外观。

结果