超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR,主要是基于单张低分辨率的重建方法,即Single Image Super-Resolution (SISR)。
1. 单张图像超分辨率重建(SISR)的数学描述
下图是重建的一般方法:
2. SISR常见的一些算法
因为本文针对的是利用深度学习进行图像超分辨率重建,所以一些传统的方法这里也就不介绍了,这里着重介绍一些深度学习方法。SRCNN算是将深度学习运用到超分辨重建的开山之作,后面自己也看了FSRCNN、ESPCN、VDSR、DRCN、 DRRN、 LapSRN、SRDenseNet、SRGAN(SRResNet)、EnhanceNet、EDSR等方法,这里这些方法读者可以去参考这篇博客《从SRCNN到EDSR,总结深度学习端到端超分辨率方法发展历程》[1],上面这些SR方法一部分是利用新的网络进行改进,比如利用了ResNet、GAN、Recursion、DenseNet;或者是提出或者改进一些新的损失函数,比如L2损失、L1损失、Charbonnier损失(一种L1损失的变种)、感受损失、对抗损失、纹理损失等等。这篇文章是作者2017.12提出来的,但是深度学习网络发展层出不穷,往往这个月的state-of-art的效果到了下个月甚至是下周就会被超越,下面可以提供了一个github[2]网站,上面会更新一些最新的图像超分辨率文章和代码。另外也提供一个比较新的图像超分辨率重建综述性文章《Super-Resolution via Deep Learning》[3]。
3. 展望
上面的一些图像超分辨率重建仅仅是2017年或者之前的文章,而不是最新的文章,之后的打算是会对CVPR2018[4]、ICLR2018[5]以及Arxiv Sanity Preserver[6]上面一些应用到图像超分辨率重建的文章进行解读,因为做科研实时需要跟进一些新的进展。
参考文献
- 从SRCNN到EDSR,总结深度学习端到端超分辨率方法发展历程
- Single-Image-Super-Resolution
- Super-Resolution via Deep Learning
- CVPR 2018 open access
- ICLR 2018 Conference Track
- Arxiv Sanity Preserver