#每天一篇论文 341/365 Learning Guided Convolutional Network for Dept Completion

Learning Guided Convolutional Network for Dept Completion

Code

摘要

稠密深度感知对于自动驾驶和其他机器人应用至关重要。然而，现代激光雷达传感器只能提供稀疏的深度测量。因此，有必要完成稀疏的激光雷达数据，其中经常使用同步制导RGB图像来促进这一完成。许多神经网络都是为这项任务而设计的。然而，它们通常通过执行特征拼接或元素级加法来融合LiDAR数据和RGB图像信息。在导引图像滤波的启发下，我们设计了一种新的导引头网络来预测导引头图像的核权重。然后应用这些预测核提取深度图像特征。通过这种方式，我们的网络生成了内容相关和空间变化的核，用于多模态特征融合。动态生成的空间变化内核可能导致巨大的GPU内存消耗和计算开销。我们进一步设计了卷积因子分解以减少计算和内存消耗。GPU的内存缩减使得特征融合可以分为多阶段进行。我们在真实的室外、室内和合成数据集上进行了综合实验来验证我们的方法。我们的方法产生了很强的效果。它在NYUv2数据集上优于最先进的方法，在提交时在KITTI深度完成基准上排名第一。在不同的三维点密度、不同的光照和天气条件下，以及在跨数据集评价下，该方法具有很强的泛化能力。代码将被发布以供复制。

方法

给出了一个稀疏的深度图S，该深度图是以校准参数和RGB图像I 作为制导参考，通过将激光雷达点投影到图像平面而生成的，深度完成的目的是生成整个图像的密集深度图D。RGB图像可以为深度完成任务提供非常有用的信息，因为它描述了对象边界和场景内容。

A.Guided Image Filtering （通过图像引导）
在深度稠密任务中，将计算D中像素I处的值，作为S中附近像素的加权平均值：

从引导图像I中学习更通用、更强大的过滤内核，而不是使用手工创建的函数生成内核。然后利用核函数融合多模态特征，而不直接对输入图像进行滤波。

B. Guided Convolution Module(引导卷积模块的设计)
引导卷积模块的设计，该模块生成内容相关和空间变化的内核以完成深度。
如图1所示，引导卷积模块将作为一个灵活的可插拔组件来服务，以便在多个阶段融合来自RGB和深度图像的特征。该算法从制导图像特征I中自动生成卷积核，并将卷积核应用到稀疏深度图特征S中，其中I和S分别是从引导图像I和稀疏深度图S中提取的特征。将这个引导卷积模块的输出表示为D，这是深度图像的提取特征。


Guided Kernel Learning
KGL:“内核生成层”（KGL）根据图像特征I生成内核WG。
内容相关核和空间变异核的优点是两方面的。
首先，这种内核允许网络对不同的对象（和不同的图像区域）应用不同的过滤器。这是有用的，因为，例如，汽车上的深度分布将不同于道路上的深度分布（而且，附近和远处的汽车拥有不同的深度分布）。因此，根据图像内容和空间位置动态地生成核函数是有帮助的。
其次，在训练过程中，将一个空间变异核的梯度计算为下一层所有图像像素的平均值。这样的平均值更有可能导致梯度接近于零，甚至认为所学习的核对于每个位置都远不是最优的，这可能会产生如所指出的次优结果。

Convolution Factorization

网络结构

这里，我们分别以RGB图像I和稀疏LiDAR深度图像S作为导航网和深度网。GuidedNet的目标是从RGB图像中学习具有低层和高层信息的层次特征表示。这些图像特征用于自动生成空间变化和内容相关的核，以提取深度特征。深度网络以激光雷达深度图像为输入，在编码阶段通过引导卷积模块逐步融合分层图像特征。然后在解码阶段回归稠密的深度图像 。GuidedNet和DepthNet的编码器都由ResNet块组成。

实验效果