使用深度信息的zero shot超分辨率方法
本文是对Zero-Shot Image Super-Resolution with Depth Guided Internal Degradation Learning进行的介绍
概述
在传统的超分辨率任务中,所使用的低分辨率(LR)图像都是由预先设定好的退化模型得到的。但在真实世界中,低分辨率的图像的退化过程往往是复杂多变的,对每张不同的图像而言,它们的退化过程都应该是不一样的。这样的差异使得许多的模型在真实世界和现实环境中的表现不佳。此外,在实际中,我们要收集一对HR,LR图像也是比较困难的。所以本文就提出了一种只使用单张图像和这张图像的深度信息来复原图像的方法。在如今,越来越多的图像采集设备都能够采集到图像的深度信息,所以深度图的获得没有那么困难。
方法
由于只使用一张图片,需要对这张图片的信息进行挖掘得到LR,HR的训练对。一种简单直接的想法是,在图像中,离拍照设备远的区域比较不清晰,离拍照设备近的区域往往会比较清楚,如图所示:
所以可以根据深度信息来判断一个区域是远还是近,从而得到LR和HR的图像块。方法也非常简单,首先计算整张图像的平均深度:
d = 1 H W ∑ i = 1 H ∑ j = 1 W D i j d=\frac{1}{HW}\sum_{i=1}^{H}\sum_{j=1}^{W}D_{ij} d=