超分辨综述

​系统总结了近几年的超分辨算法，仅作记录，方便日后网络的改进。

01 线性网络

线性网络是不存在跳跃式连接和多支路，仅含单一路径的网络。在这种网络设计中，卷积层堆叠在一起，根据上采样操作位置的不同，分为早期上采样网络结构和后期上采样网络结构。线性网络结构学到的是低分辨率图像和高分辨率图像的残差图。
采用早期上采样的网络结构有：SRCNN、VDSR、DnCNN、IrCNN
采用后期上采样的网络结构有：FSRCNN、ESPCN
下面把这些网络结构大致介绍一下：
(1)SRCNN
超分辨卷积神经网络起源于SRCNN，SRCNN在网络结构上仅包含卷积层，每个卷积层后采用ReLU作为激活函数，整个网络由三层卷积层和两层ReLU激活层构成，根据卷积层作用的不同，作者把其分别命名为特征提取层、非线性映射层和重建层。

(2)VDSR
该网络结构以VGG-net被人们熟知，它在每一层上使用固定尺寸的卷积核。网络结构比较深，为了避免收敛速度过慢，作者提出了两个策略。第一，学习得到一个残差图，使网络只关注高频部分。第二，梯度被剪裁，使用较高学习率。结果验证更深的网络能捕捉到更好的上下文信息，学习到更具泛化性的特征。


(3)DnCNN
DnCNN直接预测高频信息，而不再是超分辨图像。网络结构简单，只是卷积层、批归一化层和ReLU激活层的堆叠。
(4)IRCNN(不太懂)
该模型提出了基于CNN的去噪器，可以完成很多低级的视觉任务比如图像去噪。采用半二分裂(HQS)技术对观测模型中的正则项和保真项进行解耦。该CNN去噪器由7个膨胀卷积层叠加而成，并与批量归一化和ReLU非线性层交叉。
(5)FSRCNN
该模型在速度和恢复质量上超过了SRCNN，由四个卷积层和一个反卷积层构成。四个卷积层的名字分别为特征提取层、收缩层、非线性映射层和扩张层。相较于SRCNN,输入FSRCNN的是原始未经过上采样的图像。收缩层采用1x1的卷积起到的是特征降维的作用核尺寸，起到了特征降维的作用；非线性映射层采用PReLU激活函数，卷积核大小设置为3x3。扩张层是增加特征维度。跟SRCNN一样，FSRCNN采用MSE作为损失函数。


(6)ESPCN
亚像素卷积网络能满足实时任务需求，以往的SR方法都是先通过插值方法将LR图映射到高分辨率空间，然后在在高维度空间里学习模型，该种方法存在很大的计算量需求，不能满足实时性的任务。ESPCN提出一种先在LP空间下进行特征提取，然后通过亚像素卷积层完成高维映射的方法。该模型采用了l1损失来训练。

02残差网络

不同于线性网络，残差学习在网络设计中使用跳跃式连接来避免梯度弥散。该类方法学习输入和ground-truth之间的残差高频信息，根据阶段数量的不同，可以将该类方法分为一阶段和多阶段网络。
一阶段残差网络有：EDSR、CARN
多阶段残差网络有：FormResNet、BTSRN、REDNet
下面把这些网络结构大致介绍一下：
 (1)EDSR
该模型借鉴改进了ResNet的网络结构使其能完成超分任务。同时，作者证明了去除BN层和ReLU层对网络效果的改善。与VDSR一样，该模型可以完成多尺度超分,为了学习与尺度相关的表示，特定于尺度的层仅并行地应用于靠近输入和输出块的地方。该模型采用l1损失来训练。
(2)CARN

该模型同样使用ResNet来学习LR与HR的关系,区别在于存在局部和全局级联模块的使用。中间层的特征级联收敛到1×1卷积层,局部级联连接与全局级联连接相同。该策略通过多级表示和多种跳跃式连接

使信息传播更加有效。该模型使用l1损失来训练。

(3)FormResNet
该模型是在DnCNN基础上做出的改进。整个网络结构包含两部分子网,每一个子网都跟DnCNN结构很相似,区别在于损失层的不同。第一个子网叫做格式化层,可以被经典的算法BM3D替代。损失函数采用感知损失。第二个子网跟DnCNN相似。所述Formatting layer去除均匀区域中的高频损坏，而DiffResNet学习结构化区域。(不懂)
(4)BTSRN
该模型包含LR阶段和HR阶段。模型采用反卷积和基于最近邻上采样双结构来实现从LR空间到HR空间的映射。在两部分子网中，都采用了projected convolution(残差块的变形),LR子网采用了6个残差块，而HR子网采用了4个残差块。
(5)REDNet
该模型由卷积层和对称的反卷积层组成,每一层后面都跟随有ReLU激活层。卷积层在保持目标结构防止图像退化的同时提取特征，反卷积层重建丢失细节，与此同时，跳跃式连接被加在卷积层和对应的反卷积层上，在对卷积层进行非线性校正之前，先加那个卷积层的特征映射与镜像反卷积层的输出进行加和。网络使用l2损失训练。

03递归网络

递归的本质是为了将困难问题化解为一个个易于解决的问题。将递归思想用在网络上面，就有了递归层或递归单元。
(1)DRCN
该模型由三个较小的网络组成，分别为嵌入网络、推断网络和重建网络。嵌入网络将输入图像转化为特征图，推断网络通过递归地使用含有卷积和ReLU的层结构来分析图像区域，每经过一次递归，可视野的尺寸就增大了。重建网络将高分辨率特征图转化为高分辨率图像。


(2)DRRN
该模型深度可达52层，但是计算参数量却不大，这是通过残差图学习与网络中的identity连接共同实现的。作者强调这种并行的信息流能实现对更深层次架构的稳定训练。模型重复使用一个基本的跳跃式连接块来完成残差学习，也形成了一个多支路的网络结构。模型使用MSE来训练。


(3)MemNet
该模型也分为了三部分，重点是第二部分。第二部分由一系列记忆块堆叠起来，其中记忆块由一个递归单元和一个门单元组成。递归部分跟ResNet很相似，有两个卷积层、一个预激活机制和门单元之间的密集连接，其中门单元是卷积核为1x1的卷积层。该模型有6个记忆块,由MSE训练。

04逐步重建机制

虽然基于CNN的算法可以一步预测得到输出，但是它却不能满足不同缩放比例的要求。为了达到这一目的，该类算法逐步重建图像。
(1)SCN
该模型提出了一种将稀疏编码与深度神经网络领域知识相结合的方案，整个网络结构模仿LISTA。模型首先通过卷积操作提取低分辨特征，然后将特征图送入LISTA模块，为了得到每个特征的稀疏编码,LISTA模块由一定数量的周期性阶段组成。LISTA模块由两个先行层和一个带有激活函数的非线性层组成，其中激活函数拥有一个在训练过程中学习得到的阈值。为了简化训练，作者将一个非线性层分解为将非线性神经元分解为两个线性缩放层和一个单位阈值神经元，这两个缩放层是对角矩阵，它们互为倒数，例如，如果存在乘法缩放层，则在阈值单元之后进行除法,在LISTA网络之后，将稀疏码与高分辨率字典在连续线性层相乘，重构原始的高分辨率patch。最后一步，再次使用线性层，将高分辨率的patch放置在图像的原始位置，得到高分辨率的输出。


(2)LapSRN
该模型采用金字塔结构。LapSRN由三个子网络组成，这些子网络逐步预测残差图像，其预测系数可达8×采用金字塔结构。LapSRN由三个子网络组成，这些子网络逐步预测残差图像，其预测系数可达8×。每个子网得到的残差图与对应的上采样图像相加得到某缩放比例下的高分辨率图。作者将残差预测分支称为特征提取分支，将残差与插值图像相加的分支称为图像重建分支。

感觉有用请关注公众号，琦的成长笔记，还有干货持续放出，我在公众号等你哦！！！