论文理解:“Cross-Scale Residual Network: A GeneralFramework for Image Super-Resolution,Denoising, and “

译:一种通用框架的跨尺度残差网络

-- IEEE TRANSACTIONS ON CYBERNETICS -- 2020


目录

一、引言

二、网络框架

A、浅层特征提取阶段

B、层次特征融合阶段

C、重建阶段

三、跨尺度残差块(CSRB)

四、实验结果


一、引言

        一般来说,图像恢复的目的是从被损坏的观测x = H(Y) + v中恢复干净的图像y,其中Y是y的ground-truth高质量版本,H是一个退化函数,v是加性噪声。通过适应不同类型的退化函数,得到的数学模型针对特定的图像恢复任务,如图像超分辨率、去噪和去块。

        作者希望图像恢复网络能够很好地支持上述三种任务。但是大多数现有模型只能在这些任务中的一个中表现良好。总的来说,所有这些任务都有一个共同的特点:旨在从低质量的图像中生成视觉上令人愉悦的高质量图像。因此这些任务恰好具有很强的相关性,作者想到设计一个通用框架来支持所有任务,所以提出了跨尺度残差网络(CSRnet)。

二、网络框架

        本文提出的网络CSRnet包括三个阶段:浅层特征提取阶段层次特征融合阶段重建阶段

它们分别负责提取图像浅层特征,利用提出的CSRB中的丰富特征映射,以及添加图像细节。CSRnet的输入和输出分别为x和y。结构图如下:

A、浅层特征提取阶段

        利用两个卷积层从低质量的输入图像中提取浅层特征。第一卷积层对输入图像进行特征提取,第二卷积层对特征进行降维处理。浅层特征提取阶段可以表示为

其中F_{SFE-1}表示第一次卷积运算,卷积核大小为7x7。使用一个大的卷积核可以产生一个大的感受野。F_{SFE-2}表示第二次卷积运算,卷积核大小为3×3。通过跳跃式连接,f^1进一步用于重建阶段的残差学习,f^2作为第一个CSRB的输入。 

B、层次特征融合阶段

       这个阶段具有多个相同结构的CSRB来学习分层特性。如果D个CSRB全采用块间连接的方式进行堆叠,则这个阶段表示为:

C、重建阶段

        为了进一步改善信息流和重构图像细节,该阶段包含一个跳跃式连接和两个卷积层,表示为

优化目标为

三、跨尺度残差块(CSRB)

        为了确定不同尺度下的图像特征,作者提出了CSRB作为CSRnet的关键组成部分。CSRB采用三个使用不同规模的分支(即1x、1/2x和1/4x),以支持跨规模特性的使用。如图2所示,具体如下:

        图2中不同颜色边的框代表了不同尺度下的状态设计。带黑色、紫色和黄色边的框分别表示s = 0、2和4尺度下的状态。s的值表示下采样的尺度,即1x、1/2和1/4。

        第d个CSRB的总输入为(三个尺度):

 第d次CSRB中不同尺度s = 0,2,4的输出可以表示为:

其中:

四、实验结果

下面是去噪结果:        

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值