《深度学习》图像超分初识

一：简介
图像超分（super-Resolution）是将低分辨率的图像或者视频序列恢复出高分辨率图像。
可以用在视频数字高清播放，视频监控，视频编码，图像还原和医学影像等领域，按照类别可分为单个图像的超分（single image super resolution, SISR）和视频超分（multiframe super resolution）。

二：数学概述

退化函数很难得到，于是我们就找到一个函数F，能够将低分辨率的图像转换成搞分辨率。

以前常见的方法是：最近邻插值法、双线性插值法、双立方插值法。这样的方法优点是会很快，缺点是一般会模糊。

现在的方法是：基于学习的，利用大量的训练数据，从中学习低分辨率图像到高分辨率图像之间某种对应映射关系。然后根据学习到的映射关系来预测低分辨率图像对应的高分辨率图像。到目前更多的使用深度学习的方法。

二：深度学习应用于超分任务
下面会讲解这个DCNN for SR模块，就是运用深度卷积神经网络来构建表示关系。
DCNN for SR效果提升会很明显，原因如下：
1：多个卷积层，会使用邻近区域很多点来预测High-Resolution图像中的一个点，也就是考虑的范围信息广，不像插值那样只考虑附近几个点。
2：深度神经网络具有强大的表示能力。
3：我们拥有大量的数据能支撑训练。

DCNN for SR发展趋势是：网络越来越深（层数变多），越来越密集（链式结构到residual net到dense net connection），效果也是越来越好，计算量和参数量也越来越大。

DCNN for SR算法演进发展：
1：损失函数。保真度和清晰度，从L1损失函数 到 perceptual loss，基于GAN的LOSS。
2：上采样的方式（图像/特征变大）。从一开始插值到学习，将插值方式变成了可学习的方式，比如subpixel和deconvolution。
3：尺度变换的位置和次数。比如，将先上采样再提取特性 变到了先提取特征再后采样（减少计算量和参数），或者是逐步渐进上采样（如果图片尺度变化比较大，一步提升则会出现效模糊的情况）。
4：网络结构的设计：运用残差块，dense，attention等。

DCNN for SR发展面临的问题
1：网络的设计：耗费了大量的人力，依赖专家的经验。
2：模型的存储量和计算量也是激增，在手机/摄像头上运用不起来，限制了使用空间。
3：模型的通用性差，泛化能力有限：依赖数据集和模型。这个问题一直未解决

三：Efficient SR Model（高效的）
针对上述问题2（模型的存储量和计算量也是激增，在手机/摄像头上运用不起来，限制了使用空间）。必须将模型进行轻量化，减少参数量和计算量。

比如，将先上采样再提取特性 变到了先提取特征再后采样（减少计算量和参数），或者是逐步渐进上采样（如果图片尺度变化比较大，一步提升则会出现效模糊的情况）。
比如，多个特征提取层（卷积层）共享参数（或者是反复执行同一个卷积计算），加深了网络运算但是同时减少参数量。

比如一些通道拆分，缩小通道数，拆分通道运算，最后合并在一起，
比如使用1x1卷积核来减少参数，至于为啥，以前我们学习过，可以自行查看之前的文章或者百度。

四：人工设计的缺陷
消耗人力和时间，人工设计的方式通常复用多个网络模块的复用。没有充分考虑不同深度的各个模块的特殊性。

后面逐渐的发展到，希望使用NAS（网格结构搜索）技术来帮助我们自动化找到轻量级和高精度的网络

关于NAS还有很多可延伸和优化的结构与理论。后面会单独学习一篇。

五：相关论文奉上

开山之作 SRCNN： http://personal.ie.cuhk.edu.hk/~ccloy/files/eccv_2014_deepresolution.pdf
FapCNN：https://arxiv.org/abs/1608.00367
ESPCN：https://arxiv.org/abs/1609.05158
VDSR：https://arxiv.org/abs/1511.04587
DRCN：https://arxiv.org/abs/1511.04491
RED：https://arxiv.org/abs/1606.08921
DRRN：http://openaccess.thecvf.com/content_cvpr_2017/papers/Tai_Image_Super-Resolution_via_CVPR_2017_paper.pdf
LapRSN：https://arxiv.org/abs/1704.03915
SRDenseNet：http://openaccess.thecvf.com/content_ICCV_2017/papers/Tong_Image_Super-Resolution_Using_ICCV_2017_paper.pdf
SRGAN：https://arxiv.org/abs/1609.04802
EDSR：https://arxiv.org/abs/1707.02921