ECCV2018超分辨率MSRN:Multi-scale Residual Network for Image Super-Resolution

这篇文章主要创新点是:使用多尺度残差块充分提取图片特征

问题

(1)目前的研究倾向于使用更深层次的卷积神经网络来提高性能。但是随着网络深度的增加,训练过程中出现的问题越来越多,需要更多的训练技巧。导致很多方法难以复现;
(2)特征利用不足,随着网络深度的增加,特征在传输过程中逐渐消失。如何充分利用这些特征,是网络重建高质量图像的关键;
(3)可扩展性差;

贡献

提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征:
(1)使用MSRB来获取不同尺度的图像特征(局部多尺度特征)。
(2)将每个MSRB的输出组合起来进行全局特征融合(HFFS,一个以1×1卷积核为瓶颈层)。
将局部多尺度特征与全局特征相结合,最大限度地利用LR图像特征,彻底解决特征在传输过程中消失的问题。
还设计了一个简单而高效重建结构可以很容易地实现多尺度的放大。

网络架构

在这里插入图片描述网络分为(1)特征提取部分;(2)重建部分
特征提取部分又分为:(1)多尺度残差块(MSRB);(2)层次特征融合结构(HFFS)
损失函数采用L1损失。

多尺度残差块(MSRB)

由图可以看出,MSRB由多尺度特征融合和局部残差学习组成
在这里插入图片描述
多尺度特征融合:
在这里插入图片描述
局部残差学习:
在这里插入图片描述

层次特征融合结构(HFFS)

随着深度的增长,网络的空间表达能力逐渐下降,而语义表达能力逐渐增强。此外,每个MSRB的输出都包含不同的特性。因此,如何充分利用这些层次特征将直接影响重建图像的质量。本文采用了一种简单的层次特征融合结构。我们将MSRB的所有输出发送到网络的末端进行重构。一方面,这些特征图包含了大量的冗余信息。另一方面,将它们直接用于重建将大大增加计算复杂度。为了自适应地从这些层次特性中提取有用的信息,我们引入了一个瓶颈层,这对于具有1×1卷积层是必不可少的。层次特征融合结构(HFFS)的输出可以表示为:
在这里插入图片描述
说了这么多。、,实际就是把每一层的输出进行拼接,之后用1×1卷积核做卷积(bottleneck)。。改变通道数量,称之为特征融合。。

重建

在这里插入图片描述
重建部分设计的比较简单,将之前的A.B.C部分进行简化,得到新的重建结构。
每个多尺度残差网络的输出都被用作全局特征融合的分层特征,最终,所有这些特征都在重建模型中用于修复高分辨率图像。

结果

作者在没有任何初始化或技巧的情况下,用DIV2K数据集训练网络,证明了这可以解决我们上述提到的第一问题:复现性差。
可以看看论文中给出的结果:
在这里插入图片描述

  • 1
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值