2020CVPR《Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution》论文阅读

个人对2020cvpr的超分网络DRN的一些理解!
论文链接:https://arxiv.org/pdf/2003.07018.pdf
源码链接:https://github.com/fengye-lu/DRN-master
论文的出发点:**目前学习从LR到HR的映射关系的超分网络存在两个问题(1)超分是一个“病态”问题,一张LR图像可以对应多个HR图像,就是说其实LR图像可以由多个HR图像降采样得到,因此可能的映射关系的空间巨大,找到正确的对应关系很困难。虽然可以通过增加模型的复杂度来设计有效的模型,例如EDSR,DBPN和RCAN。但是,这些方法仍然存在解空间大的问题,从而导致超分辨性能有限,不会产生细致的纹理。(2)真实场景下很难获取成对的LR-HR数据,直接给出一张LR图像的话并不清楚他是如何退化而来的,而且真实LR图像和合成图像的分布也不会一致(合成图像?Bicubic降级获得的图像),意思是说在现实生活中一张低分辨率图片产生的方式有很多种,而在我们目前的研究当中,几乎所有的研究人员在训练端到端的深度学习模型时,将HR图片下采样到LR图片都通过特定的方式(比如双三次插值)所以现在的方法无法适应具体情况。因此,能处理实际场景的SR模型是非常具有挑战性的。更关键的是,如果我们将现有的SR模型直接应用于现实世界的数据,它们通常会带来严重的泛化性问题,并产生较差的性能。因此,如何有效利用未配对的数据以使SR模型适应实际应用是一个比较重要的问题。
在这里插入图片描述
论文的创新点:为解决上述两个问题,作者提出了****对偶回归方法。通过在LR数据上引入附加约束来减少可能的映射关系的空间:具体表现为除了学习LR到HR的原始映射,还额外学习从HR到LR的对偶映射,形成了一个LR到HR到LR的闭环。(学习一个额外的双重回归映射估计下采样内核重构LR图像形成一个闭环,提供额外的监督。)这样的对偶过程也并不依赖HR图像,可以直接从LR图像学习,所以可以解决真实数据的超分问题!
作者的意思就是针对LR到HR解空间大的问题,作者通过设计一个反向的网络,实现SR到LR的映射,以此来制约和平衡主网络(也就是LR到HR映射的网络)的训练,这里作者设置了一个类似cyclegan形式的loss进而实现平衡网络训练。而为了解决HR和LR成对训练的依赖问题,作者通过在训练集中加入不成对的LR图像,进而实现解决真实世界中数据不成对的问题,那么,LR图像没有对应的HR图像那怎么训练呢?这个问题也能通过后面作者给的损失函数来解决。

论文中给出的概要网络结构:

在这里插入图片描述
从上面网络结构就能知道,这篇文章的网络结构分为P网络和D网络。
其中,P网络就是图中蓝线所代表的网络,就是一个常见的LR-HR的超分网络;D网络就是作者最大的亮点贡献,也就是SR-LR的对偶回归过程,该过程不依赖HR!!!
下面来看一下作者提出的loss框架:
针对配对的训练数据,主要是通过对LR数据引入了一个附加约束,除了学习LR 到HR的映射外,本文还学习了从超分辨图像到LR图像的逆映射。实际上,作者将SR问题公式化为涉及两个回归任务的对偶回归模型。损失函数如下图所示,包含两部分,一个是P网络的损失,一个是D网络的损失,权重入推荐设置为0.1。注意这并不是作者最终使用的loss!
在这里插入图片描述
作者所用的loss是这个:
在这里插入图片描述
在这里,作者通过控制1sp这个参数来控制训练LR没有对应HR图像的情况下的训练损失函数,通过后面加上lamda权重的D网络损失函数,来平衡P网络的训练,以此来达到减少LR到HR解空间大的问题。
具体怎么实现呢?
在这里插入图片描述
如上图,输入数据包含配对和未配对两部分,当输入数据来自配对部分时参数1sp取1,当输入数据来自未配对数据时,参数1sp取0。所以当输入未配对数据时,P网络不计算loss,所以HR就没有用到。

网络的整体结构如下图:

在这里插入图片描述
网络讲解:网络将送入网络的数据首先Bicubic放大到目标超分大小,比如图中网络最终超分到4x,所以将输入放大到4x,再经过卷积提取特征图得到图中的绿色特征图块,再将特征块经过一个步长为2的卷积之后,缩小两倍,变成2xLR特征图,同理再变成1xLR图,在经过一堆RCAB块再依次upsample到2x和4xSR,这部分就完成了P网络的工作,然后,再对偶回归,将4xSR结果图经过一个步长为2的卷积层成为2xLR,这里生成的2xLR和原始输入的LR做一次loss,P网络生成的2xSR再下采样为1xLR再来和原始输入LR再做一次D-loss。这便是整个网络的流程。
需要注意的是,D网络中优化的损失函数不止一个,通过上图可以发现对于最后结果为4x的图像,反向进行下采样可以下采样成2x和1x的。而作者在P网络的设计中一开始Input图像(LR通过插值上采样后的)在输入时也经历了两个阶段就是下采样成2x和1x的,所以这就和D网络对应了起来。P网络的2x和D网络的2x图像形成一对,并进行损失函数优化。1x图像也是如此。如果最后的结果是8x的图像,就多一个4x的P网络和D网络的成对优化。
我们同时学习原始映射P重建HR图像和双重映射D重建LR图像。注意,双重映射可以看作是对底层降采样内核的估计。
在这里插入图片描述
网络中用到的RCAB是来自于RCAN网络的一个模块RCAB,结构如下:
在这里插入图片描述
在这里插入图片描述
网络的细节设置:
在这里插入图片描述

实验:

在这里插入图片描述
在这里插入图片描述

不同分辨率下,各种方法的对比:
在这里插入图片描述
在这里插入图片描述
最后,作者对比了在真实场景下的重构效果,这里仅展示了视觉上的结果。也对比了使用不同插值方法下的效果,可发现本文的效果均是最优的。
在这里插入图片描述
在这里插入图片描述
接下来博主会继续分享自己阅读另一篇2020cvpr做超分的另一篇论文《Image Super-Resolution with Cross-Scale Non-Local Attention
and Exhaustive Self-Exemplars Mining》欢迎感兴趣的小伙伴关注共同学习进步!

  • 4
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值