CVPR 2021 | 基于跨任务场景结构知识迁移的单张深度图像超分辨率方法

©PaperWeekly 原创 · 作者｜孙宝利

学校｜大连理工大学硕士

研究方向｜计算机视觉

 

 

项目主页：

http://faculty.dlut.edu.cn/yexinchen/zh_CN/zdylm/1123985/list/index.htm

代码链接：

https://github.com/Sunbaoli/dsr-distillation

导读：

本项研究针对深度传感系统获取的场景深度图像分辨率低和细节丢失等问题，突破现有基于彩色指导的场景深度复原方法的局限性，即在训练及测试阶段同时需要高分辨率彩色图像和降质深度图像作为网络输入来估计高质量深度图像（在实际测试环境中，同视角的高分辨率彩色辅助信息并不容易获得）。

首次提出基于跨任务场景结构知识迁移的单一场景深度图像超分辨率方法，在训练阶段从彩色图像蒸馏出场景结构信息来辅助提升深度复原性能，而测试阶段仅提供单张降质深度图像作为输入即可实现深度图像重建。

该算法框架同时构造了深度估计任务（彩色图像为输入估计深度信息）及深度复原任务（低质量深度为输入估计高质量深度），并提出了基于师生角色交换的跨任务知识蒸馏策略以及不确定度引导的结构正则化学习来实现双边知识迁移，通过协同训练两个任务来提升深度超分辨率任务的性能。

在实际部署和测试中，所提出的方法具有模型轻量化，算法速度快等特点，且在缺少高分辨率彩色信息辅助的情况下仍可获得优异的性能。

 

深度图像超分辨率简介

随着计算机视觉的发展，场景三维重建、姿态估计以及自动驾驶等应用成为非常热门的研究领域。这些领域都依赖于高精度、高质量的场景深度信息。然而，在实际环境下，由于深度传感器自身性能的限制和实际成像环境的复杂性，获取的深度图像分辨率普遍较低而且带有严重的噪声。面对应用领域对高质量深度图像的迫切需求，提高深度相机所摄深度图像的空间分辨率的深度超分辨率技术，已经成为计算机视觉和图像处理领域的研究热点。

现有基于彩色图像指导的场景深度超分辨率方法已经取得了显著的进展，但仍然存在一些局限性。首先，这些方法需要成对且配准的 RGB-D 数据作为训练实例，共同恢复退化的深度图。

然而，在实际测试环境中，配对的数据很难获得，影响模型的实用性。例如，RGB 图像和深度图像是由不同分辨率、不同视角的传感器分别捕获的，需要对它们进行精确的标定，才能获得高度配准的数据对。其次，考虑到内存消耗和计算负担，对高分辨率 RGB 数据的处理也阻碍了模型的实时性。

此外，RGB 特征可以作为结构信息来指导深度超分辨率任务，但是彩色图像纹理细节过于