2021-11-11SR-DRN

闭环问题：单张图像超分辨的对偶回归网络（DRN)

SR主要是要学习LR和HR之间的某种映射来重建相应的HR图像。

一、SISR存在的两个潜在的问题：

1.学习从LR到HR的映射是一个病态的逆问题。一张LR图像可以对应多张HR图像，也就是说存在不唯一的HR图像能够获得同一张LR图像；
2.现有的SR方法大多数是基于成对的LR-HR图像的，而现实中，我们很难获得成对的图像，因此SR方法往往会出现适应性的问题。
问题一意味着LR到HR的映射是不唯一的，其解空间是很大的进而导致获得一个比较好的SR映射并不是很容易的。问题二指出了SISR方法在实际应用时要考虑的模型泛化问题。

二、本文提出的解决方法

1.对于问题1，本文提出了添加了对偶回归的模块。对偶回归模块学习了HR到LR的映射，而重建的HR图像的效果可以通过对其施加某种退化模型获得的LR图像与真实LR图像之间的差距来评价，也就是说重建HR图像获得的LR图像与真实LR图像的差距越小那么就说明重建的HR图像效果越好。这样通过额外添加的对偶回归模块可以减小LR到HR映射的搜索空间。
2.对于问题2，现有的SR方法大部分是基于成对的HR-LR数据来训练的，属于监督SR，本文提出的DRN网络训练时使用了不成对的LR图像，使用半监督学习策略,将该方法运用到现实生活中的数据中。
主要工作：
1）提出了dual regression策略，增强了SR效果，对DR进行了泛化能力的分析；
2）使用不成对的数据，增强了模型的泛化能力

三、相关工作

在介绍DRN网络结构之前，先介绍该网络中相关模块和相关的学习策略
1.Dual Learning 对偶学习
对偶学习起源于机器翻译。对偶学习包括原始模型和对偶模型两部分，通过同时学习两个相对应的映射来增强语言翻译的效果。
2.RCAB residual channel attention block
RCAB是在ECCV2018年的RCAN中提出的模块
RCAB的结构如图所示主要是添加了CA层

CA通道注意力机制如下图所示

本质上是对每个通道通过自学习的方法获得相应通道的权重并和通道信息进行组合获得具有不同权重的通道信息。CA不会改变特征图的尺寸和通道的数目。

四、DRN

1.DRN的网络结构
DRN的网络结构如图所示

黑色的箭头连接的表示的是原始的回归，红色则表示对偶回归，其中虚线表示的是短接。DRN左侧部分表示可以看作一个下采样的过程，右侧则是相当于一个上采样的过程。右侧使用到的RCAB模块已经在前面介绍过了，PixelShuffle是图像超分辨的一种上采样的方式也就是子像素上采样方法。就假设先在有一张HxWxC的LR图像，缩放因子为r，通过卷积将通道数变为r的平方倍，然后通过周期筛选获得最后的rHxrWxC的期望结果。
2.DRN的损失函数
DRN的损失函数分为成对训练数据和不成对训练数据两者情况。首先是对于常用的超分辨成对数据集来说其损失函数如图所示

而对于不成对的现实数据来说其损失函数则为

这里论文中使用了部分合成的成对的数据，m,n分别表示训练中成对样本和不成对样本的数目。通过对比加入合成数据和不加入合成数据的实验结果也说明了加入合成数据的原因。
3.DRN训练数据的设计
在损失函数中也提到了在不成对的数据的训练中存在合成数据和不成对数据两中情况。
4.DRN超参数选取以及消融实验
论文中也对对偶回归策略进行了相应的消融实验证明了该策略的有效性。
此外，在整个网络中存在两个比较重要的参数，原始回归和对偶回归的平衡参数、不成对数据训练时的不成对数据的占比，论文中同样对其进行了最优值的探索。

五、DRN性能

六、结论

论文主要时通过增加了对偶回归部分来尝试解决SISR中的两个问题，并考虑到了将不成对的数据加入训练集，实现半监督的SR，给出了比较好的超分结果。