论文:使用双分支卷积神经网络的单图像超分辨率重建
1 介绍
SISR是一个高不适的问题,降级的LR图像包含可能的HR图像的多种解决方案。
存在的问题:
●CNN的共同缺点,随着网络结构的加深,虽然可以得到更好的表现,但是会增加运行时间和存储复杂度,因此适合实际应用。
●输入图像经过bicubic插值,增加了计算复杂度;FSRCNN通过去卷积层扩大尺寸;ESPCN通过子像素卷积层扩大尺寸,实现实时效率。
本文的解决方案:
●设计双分支卷积神经网络代替直接堆叠卷积层的链式编码。
●本文提出的双分支结构:一条分支结构用标准的卷积层提取精细的局部特征;另一条分支结构用扩张的卷积层获得更大的感受野,以用更少的层得到更多的全局上下文细节。
●通过反卷积层扩大尺寸加速算法,并通过自定义的跳过连接提高重建精度。
本文方法减少参数并在不牺牲质量下加快重建速度。
2 相关工作
2.1 用于单图像超分辨率的卷积神经网络
在这个领域,一个成功的网络体系结构是充分探索不同层特征的隐式信息。
2.2 放大尺寸和跳跃连接
放大尺寸的方法有反卷积层(分数步卷积)和子像素卷积层。这两种都存在输入图像和输出图像维度不匹配问题,所以跳跃连接只能设置在输入层和输出层之间,但这不有利于获取更多的信息。
2.3 扩张的卷积层
扩张卷积的核心思想是在卷积内核的像素之间插入“孔”以扩大内核大小。与标准卷积相比,它的最大优点是可以通过适当地设置扩张速率来扩展接受域,而无需增加更多参数。
而扩张卷积有其固有的问题,即存在“网格”效应,这会导致丢失大量上下文信息。即,仅当卷积核的像素不为零时,接收域才真正覆盖,并且其整体外观具有棋盘风格。
3 本文方法
本文的双分支部分充当特征提取的角色。 分支之一是由标准卷积层组成的普通网络,另一分支则由扩张的卷积层组成。
在特征提取阶段之后,有一个特征融合部分,可以增强特征表示。
然后,升级模块紧随其后对特征尺寸进行升采样。剔除批处理规范化层,并对所有激活层采用Leaky ReLU。
3.1 特征提取层
为了尽可能增加接收野并减轻“网格”效应,每层的膨胀率按特定顺序设置(例如1、2、3 ,4、3、2、1)。 每个滤波器的有效大小为3*3,这意味着无论单个内核的膨胀率是多少,用于计算的像素始终为9。
3.2 特征融合
由于DBCN的功能是从两个并行子网中提取的,因此有必要将它们聚合在一起。 一个常见的步骤是像ResNet一样逐像素地相加。 但是,由于从两个子网中提取的特征具有不同的接收域大小,因此将它们简单地添加在一起可能会削弱分层信息的有效性。基于DenseNet 的思想,该思想以级联的方式组合了这些特征,我们通过扩展其通道而不合并任何原始像素值来合并它们。 由于每个分支生成32个特征图,因此在连接后将获得64个特征图。
3.3 扩大模型
由于特征融合是直接级联的,并且来自不同分支的特征具有不同的分布,因此此处不使用亚像素卷积。亚像素卷积不需要任何参数学习,因此无法自适应地区分从不同分支提取的局部和全局信息。 因此,首选去卷积以进一步探索有用的信息。
3.4 跳跃连接
由于LR图像和HR图像的尺寸位于不同的空间,因此不可能在网络的两端之间建立直接跳过连接。本文使用双三次插值法首先对LR图像进行升采样,然后生成所需大小的辅助图像。 随后,将内插图像逐像素地添加到网络元素的输出中。
3.5 损失函数
残差损失函数:
由上述公式知
R
i
=
I
i
H
R
−
I
i
B
i
c
u
b
i
c
R_i=I^{HR}_i-I^{Bicubic}_i
Ri=IiHR−IiBicubic
规范化损失函数:
损失函数:
4 实验
4.1 数据集
随机水平或垂直翻转和旋转90,含原始图片共八张,训练。
4.2 模型分析
(1)双分支结构
DBCN,P-P,D-D三种双分支结构对比。
(2)残差学习
(3)包容性策略
在测试期间,我们旋转并翻转输入的LR图像以获得其8个增强版本(包括原始图像),获得八个输出的重建图像,然后我们以相反的方式转换这8个输出图像,对它们的像素值进行平均。 称该方法为DBCN-E。
(4)与其他算法对比
PSNR/SSIM
参数:
时间: