【超分辨率】—基于深度学习的图像超分辨率最新进展与趋势

 1、简介

图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题，在医疗图像分析、生物特征识别、视频监控与安全等实际场景中有着广泛的应用。随着深度学习技术的发展，基于深度学习的图像超分方法在多个测试任务上，取得了目前最优的性能和效果。本文介绍的一篇综述（Deep Learning for Image Super-resolution:A Survey）给出了一个统一的深度学习视角，来回顾最近的超分技术进展，主要包括三个方面:

1. 给出了综合性的基于深度学习的图像超分技术综述，包括问题设置、数据集、性能度量、一组基于深度学习的图像超分方法集合，特定领域的图像超分方法应用等等。
2. 为最近基于深度学习的图像超分算法提供了系统性、结构化的视角，并总结了高效图像超分解决方案中的优势与劣势。
3. 讨论了这个领域的挑战与开放问题，并总结了最近的新趋势与未来的发展方向。

 

2、最新进展

2.1 超分网络的升采样结构

根据升采样（upsampling）在网络结构中的位置和使用方式，可以把超分网络结构设计分为四大类：前端升采样（pre-upsampling）超分网络、后端（post-upsampling）升采样超分网络、渐进式升采样（progressive upsampling）超分网络、升降采样迭代式（iterativeup-and-down sampling）超分网络。

• 前端升采样网络，一般使用双三次（bicubic）插值直接将低分辨率图像插值到目标分辨率，然后深度卷积网络等模型重建高质量细节信息，这类方法显著降低了学习的难度，但是预先设定的升采样方法会引入模糊（noise）、噪声放大（noise amplification）等问题，同时因为网络在前端即进行插值到高分辨率空间，所需的存储空间和耗时都远高于其他类型超分网络。
• 后端升采样网络，一般在网络结构的最后一层或几层，使用端到端可学习的升采样层，绝大部分映射变换都在低分辨率空间进行，计算复杂度和空间复杂度都明显降低，同时训练和测试速度也都明显提高，被多前主流超分网络框架所使用。
• 渐进式升采样网络，主要是解决多个超分倍增系数（scaling factor）和大的超分倍增系数，升采样不是一步完成的，而是采用拉普拉斯金字塔或者级联CNN等方式，产生一些中间（intermediate）的重建图像作为后续模块的输入图像（“base images”）,另外诸如课程学习（curriculum learning）和多级监督（multi-supervision）等学习策略也可以被引入进来，这类方法可以降低学习难度，特别是在大的超分倍增系数时。另外，在多尺度超分问题上也可以减少参数量和耗时。
• 升降采样迭代式超分网络，借鉴了反向投影（back-projection）的思想，通常会交替地使用升采样和降采样层，最终重建的高分辨率结果会用到之前全部中间层得到高分辨率特征图，这类方法的思想刚被引入图像超分问题不久，已经取得了非常好的性能和效果，有很大的潜力，值得关注和探索。

2.2 可学习的升采样方法

• 转置卷积（transposed convolution）,也就是所谓的反卷积（deconvolution）,相当于正常卷积的反向操作，可以嵌入到端到端的网络结构中，但是容易产生棋盘格效应。