SISR深度学习主要方法简述

主要介绍了SISR深度学习的主要方法

文章目录

前言

1、上采样方法介绍

2、SISR深度学习主要方法

---

前言

参考：单幅图像超分辨重建的深度学习方法综述

---

1、上采样方法介绍

方法分类	方法名称	方法描述
基于插值的上采样方法	最近邻插值	使用距离最近的像素点的值进行插值操作
	双线性插值	沿着图像的一个方向进行插值，然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关
	双立方插值	使用的插值函数为三次多项式，也是进行图像两个方向的插值操作
基于学习的上采样方法	转置卷积	也成为反卷积，卷积核大小为3x3，步长为1，并使用0进行填充的卷积操作
	亚像素卷积	通过卷积操作得到多个通道的特征图，然后对特征图进行重新排列，在多个通道之间重组，从而放大图像的尺寸

2、SISR深度学习主要方法

网络名称	发表时间	网络模型	损失函数	上采样方法	上采样框架	适用场景	改进点
SRCNN	2014,ECCV	线性网络	L2	双三次插值	预上采样	实景图像	首次提出将深度学习引入超分辨领域，提高重建质量
SCN	2015,ICCV	线性网络	L2	双三次插值	预上采样	实景图像	在深度卷积网络中加入稀疏表示先验信息
FSRCNN	2016,CVPR	线性网络	L2	转置卷积	后上采样	实景图像	较SRCNN提升算法处理速度
ESPCN	2016,CVPR	线性网络	L2	亚像素卷积	预上采样	实景图像	较SRCNN提升算法效率
VDSR	2016,CVPR	残差网络	MSE	双三次插值	后上采样	实景图像	运用残差学习加深网络层数，同时可处理多尺度SR问题
LapSRN	2017,CVPR	残差网络	Char损失函数	亚像素卷积	逐步上采样	实景图像	通过逐步上采样、逐级残差和自身损失函数监督，提升算法速度以及重建效果
EDSR	2017,CVPRW	残差网络	L1	亚像素卷积	后上采样	实景图像	去除BN加快运行速度，加深网络深度
MSRN	2018,ECCV	残差网络	L1	亚像素卷积	后上采样	实景图像	运用多尺度残差网络提升算法效率
DRCN	2016,CVPR	残差、递归网络	L2	双三次插值	预上采样	实景图像	运用递归网络增大网络感受野，从而提升网络性能
DRRN	2017,CVPR	残差、递归网络	L2	双三次插值	预上采样	实景图像	运用局部多尺度和全局残差学习，减少参数并提升重建性能
SRFBN	2019,CVPR	残差、递归、稠密网络	L1	转置卷积	后上采样	实景图像	引入反馈机制的循环神经网络，从而提升重建效果
SRDenseNet	2017,ICCV	密集网络	L2	亚像素卷积	后上采样	实景图像	运用密集连接加强特征传播，减少参数数量，减轻梯度消失
RDN	2018,CVPR	密集、残差网络	L1	亚像素卷积	后上采样	实景图像	将残差、密集学习结合，客观指标和主观效果有所提升
SelNet	2017,CVPRW	残差网络、注意力机制	L2	双三次插值	后上采样	实景图像	使用选择单元允许特定值向下传递，提升重建效果
RCAN	2018,ECCV	残差网络、注意力机制	L1	亚像素卷积	后上采样	实景图像	将通道注意力机制引入网络，捕捉更重要的通道信息，从而提升重建效果
SAN	2019,CVPR	残差网络、注意力机制	L1	亚像素卷积	后上采样	实景图像	使用二阶通道注意力机制，更好的长距离空间内容信息
TTSR	2020,CVPR	残差网络、注意力机制	L1、对抗、感知损失	亚像素卷积	后上采样	实景图像	使用硬注意力机制进行纹理迁移，使用软注意力机制进行纹理合成
SRGAN	2017,CVPR	生成对抗网络	对抗、感知损失	亚像素卷积	后上采样	实景图像	最早使用GAN网络进行图像超分辨，在主观视觉效果上提升明显
ESRGAN	2018,ECCVW	生成对抗网络	L1、对抗、感知损失	亚像素卷积	后上采样	实景图像	相较于SRGAN，生成器去掉BN、判别器对损失函数做出改进，提升重建效果
SPSR	2020,CVPR	生成对抗网络	L1、对抗、感知、梯度损失	亚像素卷积	后上采样	实景图像	基于GAN网络的方法，考虑保持图像内部的几何结构