超分模型总结

简介

1.比较了30多个最先进的超分辨率卷积神经网络(Cnn)，以及三种经典的和三种最近引入的具有挑战性的数据集来测试单个图像的超分辨率。

2.九个策略：包括线性的，残差的，多通道的（multi-branch），递归的（recursive），渐进的（progressive），基于注意力的和对抗性的设计。

3.超分辨率在许多其他领域有着重要的应用，例如场景中的目标检测(特别是小物体)，监视视频中的人脸识别，医学成像，改进遥感影像，天文影像。

4.要约束解决方案空间，通常需要可靠的先验信息。

5.问题的复杂性随着尺度因子的增加而增加.在较高的因子下，丢失场景细节的恢复变得更加复杂，因此通常导致错误信息的再现

6.其目的是最小化与模型关联的数据保真度项。

其中，α是数据保真度项和图像先验Ψ的平衡因子。
α is the balancing factor for the the data fidelity term and image prior Ψ

7.

8.得到先验知识的方法很多，预测方法，基于边缘的方法，统计方法，基于patch的方法。本文利用深层神经网络学习先验。

基于预采样的模型

9.Early Upsampling Designs：早期的上采样设计是线性网络，首先对LR输入进行抽样，使其与期望的HR输出大小相匹配，然后学习层次特征表示以生成输出。

SRCNN

仅使用用于超分辨率的卷积层，SRCNN结构是直接的，它仅由卷积层组成，其中每个层(除了最后一个)后面接一个(RELU)共有三个卷积层，两个relu层。所有层次都是一样的。第一卷积层称为特征提取，它从输入图像中创建特征映射。第二个卷积层称为非线性映射，它将特征映射转换为高维特征向量。最后一个卷积层聚合特征映射以输出最终的高分辨率图像。利用均方误差(MSE)损失函数将输出重构的高分辨率图像和地面真实高分辨率图像之间的差最小化。

VDSR

避免深层网络的缓慢收敛，他们学习一种残差映射，生成HR和LR图像之间的差异，提供了一个更简单的目标，使得网络只关注高频信息。第二，梯度被夹在范围[-θ,+θ]中，这允许非常高的学习速率加速训练过程。

用残差将网络做的很深，在当时首先将残差应用到超分辨率领域，比较具有创新性，效果也较好。但是视觉效果并不是很好，细节恢复较差

DnCNN

https://www.jianshu.com/p/3687ffed4aa8
学习直接预测高频残差，而不是潜在的超分辨图像。DNCNN的结构非常简单，类似于SRCNN，因为它只堆叠卷积、批量归一化和Relu层。（由于BN的存在，计算成本很高。）

不同的是DnCNN并非每隔两层就加一个shortcut connection，而是将网络的输出直接改成residual image（残差图片）。每一层都zero padding，使得每一层的输入、输出尺寸保持一致。以此防止产生人工边界

IRCNN

提出了一套基于cnn的去噪器，可联合用于图像去噪、去模糊和超分辨率等低层视觉任务。该技术旨在将高性能鉴别cnn网络与基于模型的优化方法相结合，从而在图像恢复任务中实现更好的通用性。提出了三维块匹配算法（BM3D），把图像分成一定大小的块，根据图像块之间的相似性，把具有相似结构的二维图像块组合在一起形成三维数组，然后用联合滤波的方法对这些三维数组进行处理，最后，通过逆变换，把处理后的结果返回到原图中去，从而得到去噪后的图像。

具体地，利用半二次方分裂(HQS)技术对观测模型中的正则化和保真度项进行解耦。采用分裂变量的方法（ADMM、半二次分裂（HQS）等），可以将判别学习方法训练的CNN去噪器作为模块插入基于模型的优化方法中，以解决其他逆问题（例如去模糊）。CNN的去噪器由一组7个扩展的卷积层组成,这些卷积层与批量归一化和REL非线性层交织在一起。使用零填充的小的训练样本，以避免因卷积操作而产生的边界伪影。
其中HQS：https://www.cnblogs.com/wxl845235800/p/10734866.html
https://www.cnblogs.com/smartweed/p/10444039.html

后上采样

10.后采样网络对低分辨率进行学习，然后对网络输出附近的特征进行上采样，减少计算量

FSRCNN

提高srcnn的实时性。由四个卷积层和一个反卷积组成。FSRCNN输入第一层特征提取的是原模块，没有上采样。第二层是缩小层（shrink）用小的滤波器进行卷积，减小特征维度，第三层，用作非线性映射步骤，有助于学习非线性函数，因此对性能有很强的影响，非线性映射层中滤波器的大小设置为3，最后一层，扩张，是第二层的逆运算。网络最后一部分，是上采样和反卷积层，在反卷积中，stride是提高尺度的因子。非线性函数用的不是ReLu，而是PReLu，用的损失函数也是MSE。

ESPCN

一种可以对图像和视频进行实时操作的快速SR方法。在提取特征后，ESPCN在末端使用亚像素卷积层聚合LR特征映射，同时对高维空间进行投影重建HR图像。本文所使用的亚像素卷积运算实质上类似于卷积转置或反卷积运算。网络的输入是原始低分辨率图像，通过三个卷积层以后，再重新排列。亚像素卷积层包含两个过程，一个普通的卷积层和后面的排列像素的步骤。就是说，最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素进行重新排列就能得到高分辨率图。损失函数用的是L1。采用分数核步长来提高输入特征映射的空间分辨率。使用单独的向上缩放内核来映射每个特征映射，在建模LR到HR映射过程中提供更多的灵活性。

残差网络

11.残差网络

EDSR

改进了ResNet，移除了BN以及外部的ReLu，多尺度，并共享参数，特定的层仅在输入和输出块附近并行地应用，以学习与尺度相关的表示。损失函数是L1.由于批规范化层消耗了与它前面的卷积层相同大小的内存，在去掉这一步操作后，相同的计算资源下，EDSR就可以堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。EDSR用L1范数样式的损失函数来优化网络模型。在训练时先训练低倍数的上采样模型，接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也更好。

CARN

级联残差网络(CANN)[38]使用ResNet块[43]来了解低分辨率输入和高分辨率输出之间的关系。模型的不同之处在于局部和全局级联模块的存在。在resnet基础上增加局部和全局的级联模块，中间层的输出被级联到更高的层，卷积采用same卷积（https://www.cnblogs.com/itmorn/p/11177439.html），方便特征层之间的级联，最后收