#每天一篇论文 245/365 变卷积核的深度图上采样

Deformable kernel networks for guided depth map upsampling

摘要

我们解决了使用同一场景的注册高分辨率彩色图像对低分辨率（lr）深度贴图进行上采样的问题。以往基于卷积神经网络（cnns）的方法结合空间不变核的非线性激活，从lr深度和hr彩色图像中估计结构细节，并直接从网络中回归上采样结果。在这篇文章中，我们回顾了加权平均过程，它被广泛用于将结构细节从手工制作的视觉特征转移到lr深度图。相反，我们学习的是显式稀疏和空间变化的内核。为此，我们提出了一种cnn结构及其有效的实现，称为可变形核网络（dkn），它能自适应地输出稀疏的邻域集和每个像素对应的权值。我们还提出了一个快速版本的dkn（fdkn），其运行速度大约是前者的17倍（对于640×480大小的hr图像，0.01秒）。在标准基准上的实验结果证明了该方法的有效性。特别地，我们证明了具有3×3核的加权平均过程（即聚集稀疏选择的9个样本）在很大程度上优于现有技术。

贡献

我们介绍了一种新的用于深度映射上采样的传统引导加权平均方法及其实现，即dkn，它自适应地计算每个像素的邻域集及其相应的权重。
•我们建议快速版本的dkn（fdkn），其运行速度大约是dkn的17倍，同时保持其优异的性能。
我们实现了一个新的技术状态，大大超越了我们所知道的所有现有的方法，并清楚地展示了我们学习内核权重和采样位置的方法的优点。我们还提供了一个广泛的实验分析，以研究我们的模型的所有组成部分和参数的影响。

方法

结果