图像超分辨 Supper-Resolution

目录

1. 上采样 Upsamling

2. 深度学习方法 Single Image Super-Resolution, SISR

1.SRCNN

2. FSRCNN

3. ESPCN

4. VDSR

5. DRCN

6. RED

7. DRRN

8. LapSRN

10. SRGAN(SRResNet)

11. EDSR

12. R-ESRGAN

13. UDL

14. Rare display

---

1. 上采样 Upsamling

近邻插值（Nearest Interpolation）

双线性插值（Bilinear Interpolation）

中心对齐

浮点运算→整数运算→左右移按位运算

双三次插值（Bicubic Interpolation）

反卷积（Transposed Convolution）

问题：棋盘效应

反卷积的棋盘格效应

只能保证矩阵大小相等，不能完全恢复数值

反池化（Unpooling）

2. 深度学习方法 Single Image Super-Resolution, SISR

Single-Image-Super-Resolution

https://github.com/YapengTian/Single-Image-Super-Resolution

从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程

1.SRCNN

(Learning a Deep Convolutional Network for Image Super-Resolution, ECCV2014)

开山之作，网络结构非常简单。先使用双三次(bicubic)插值，通过三层卷积网络拟合非线性映射，输出高分辨率图像结果

2. FSRCNN

(Accelerating the Super-Resolution Convolutional Neural Network, ECCV2016)

使用了一个反卷积层放大尺寸。

使用更小的卷积核和使用更多的映射层。

共享其中的映射层。

3. ESPCN

(Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network, CVPR2016)

亚像素卷积层

4. VDSR

(Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR2016)

学习高分辨率图像和低分辨率图像之间的高频部分残差

5. DRCN

(Deeply-Recursive Convolutional Network for Image Super-Resolution, CVPR2016)

RNN+残差结构

6. RED

(Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections, NIPS2016)

对称的卷积层-反卷积层构成的网络结构

7. DRRN

(Image Super-Resolution via Deep Recursive Residual Network, CVPR2017)

全局残差学习+单权重的递归学习+多目标优化

8. LapSRN

(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution, CVPR2017)

逐步上采样，一级一级预测残差的方式，速度比较快

9. SRDenseNet

(Image Super-Resolution Using Dense Skip Connections, ICCV2017)

稠密块结构

10. SRGAN(SRResNet)

(Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, CVPR2017)

利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。

Momentum         

padding = “SAME”/“VALID”

11. EDSR

(Enhanced Deep Residual Networks for Single Image Super-Resolution, CVPRW2017)

NTIRE2017超分辨率挑战赛上获得冠军的方案

把批规范化处理(batch normalization, BN)操作去掉

12. R-ESRGAN

流程

纯合成数据训练

生成器：与ESRGAN相同，多个RRDB的深网络

先用Pixel-unshuffle减少空间大小

鉴别器：U-Net 改善细节，Spectral normalization恢复纹理，

训练：

1. real-esrnet, L1 loss 训练psnr导向

Sinc filters：去除振铃和超调

2. real-esrnet作为生成器初始化，L1 loss，感知损失，GAN损失训练

创新点：

新的构建数据集的方法，高阶退化

加入Sinc filter 解决振铃和过冲伪影

判别器VGG 替换为U-Net，增强细节学习

引入SN稳定由于复杂数据集和U-Net带来的训练不稳定，

二阶退化

模糊：广义高斯模糊。平台型分布

噪声：加性高斯、泊松噪声（对统计量子涨落引起的传感器噪声进行建模）

Resize：上/下采样

13. UDL

NeurIPS 2021: 不确定性驱动损失 图像超分辨率 Uncertainty-Driven Loss for Single ImageSuper-Resolution

MSE 或 L1 损失函数在假设所有像素的重要性相同.,纹理和边缘区域比平滑区域承载着更重要的视觉信息。引入方差估计，以像素为基础来表征不确定性，从而可以同时学习高分辨率图像中的目标像素 (均值) 和它们对应的不确定性 (方差)。

14. Rare display

1 基于稀疏信号表示SR

稀疏表示系数在超完备字典上得到精确重建

2 基于稀疏表示的普通图像SR重建

2.1 普通图像SR重建

2.2 人脸图像SR重建

非负矩阵分解（NMF）

“两步”人脸SR重建

基于最大后验概率（MAP）

基于稀疏表示的人脸幻构

3 学习字典对

3.1 单一字典训练

3.2 联合字典训练

3.3 LR图像特征表示