干货！用于多模态深度图超分辨率的离散余弦变换网络

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

赵子祥：

西安交通大学数学与统计学院博士在读，师从张讲社教授，现为哈佛大学计算机科学系访问博士，导师为Hanspeter Pfister教授。研究方向为底层视觉，图像增强，多模态信息融合。

多模态深度超分辨率是多模态图像处理中的一个重要课题，它借助同一场景的高清RGB图像从在次优条件下收集的低分辨率深度图重建高分辨率深度图。为了解决在解释工作机制不明、提取跨模态特征困难和RGB纹理的过度迁移方面的挑战，我们提出了一种新颖的离散余弦变换网络 (DCTNet) ，从三个方面缓解上述问题。首先，离散余弦变换 (DCT) 模块通过使用DCT来重构多通道高清深度特征，以将传统图像域中优化问题集成到深度学习的框架之下。其次，我们引入了一个半耦合特征提取模块，该模块使用共享卷积核来提取公共信息，并使用私有卷积核来提取特定模态的信息。第三，我们采用边缘注意机制来突出引导图像上采样的轮廓信息。广泛的定量和定性评估证明了我们的DCTNet的有效性，它在参数数量相对较少的情况下优于以前的最先进方法。

我们首先介绍一下什么是深度图超分辨率的任务。随着计算机视觉的发展，深度图已经有着非常重要的作用，无论是对于目标的刻画和整个场景的描述。但是由于受到成像设备的限制，深度图往往会遇到的问题是其低分辨率且含有噪声，这时候我们希望能用一个同一场景之下的RGB图像作为指导，得到一个高分辨率的深度图图像。

RGB Guided depth super-resolution