【论文阅读】Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks

文章地址：https://arxiv.org/abs/1809.00437v1

非官方复现代码：https://github.com/Junshk/CinCGAN-pytorch

1.论文背景

  目前的图像超分辨率的输入大多是由Bicubic downsample得到的，而在现实场景中，downsapmle操作的核是未知的且通常还会伴随着一些noise、blurry，除此之外，LR所对应的HR label一般是无法获得的。因此无监督模型在这种情况下似乎是较为有效的问题解决方法。

 

2.网络结构

  研究者提出了一种无监督的真实图像图像超分辨率模型，该模型输入为真实图像，输出为其重建后的高分辨率图像。文中采基于Cycle-GAN提出了一种Cycle-in-Cycle(CinCGAN)的结构，结构图如下：

  其中，为生成器，为判别器， 为输入的带有blurry和noise且经过未知核缩小的小图，为高分辨率ground truth，为生成器G1生成的类似bicubic缩小特征分布的图像。而输入判别器的是不成对的大小图。第一个判别器判断G1生成的小图像不像bicubic，第二个判别器则是用于超分辨率。

 

 

     k代表kernel size，n代表卷积channel，s代表stride

      ， ， 均由前三层head，后三层tail以及6个resblock组成，不同的是是一个带有缩小功能的生成器，因此其第二第三层的结构为k3n64s2。 ， 判别器层数相同，由于  的输入为小图，如果输入feature的size太小可能会影响判别器精度，因此其卷积核的stride均为1。

     训练集： 为了保证无监督学习，该模型训练集主要分为三个部分， 来自于DIV2K的track2数据集（编号1-400）， 由DIV2K的HR数据集（编号401-800）构成， 则是直接由 通过bicubic缩小四倍得到。为了扩充数据集， 被随机裁剪为32x32的patch， 也被裁剪为128x128大小。

DIV2K数据集：https://data.vision.ee.ethz.ch/cvl/DIV2K/，track2数据集为unknown downgrading operation LR

 

  2.1  LR Image Restoration（LRclean LR）

     CinCGAN主要由两个部分构成，分别为LR Image Restoration 和 Jointly Restoration and Super-Resolution

     对于一张input图像  ，该部分首先经过  生成一张deblur、denoise后的图像 ，然后将  输入  得到 ，同时通过一个判别器 来判断生成的是否与bicubic缩小后的具有类似的分布。

     在训练过程中由四个loss，分别为：

                                         

                                           

  最终Loss为：

     文中提到identity loss 是为了避免不同iteration中出现color variation，值得注意的是，在第一个Cycle-GAN中， 与 是unpaired的，这样就保证了第一部分是无监督的。

 

  2.2  Jointly Restoration and Super-Resolution（LRHR）

     该部分的SR模型为预训练好的EDSR x4 模型 （EDSR项目github链接如下：https://github.com/thstkdgus35/EDSR-PyTorch）

     在第二个Cycle-GAN中，输入为上一个Cycle-GAN生成的小图  ， 通过SR模型得到对应的SR结果  ,经过 ——一个缩小加噪、污生成器得到的小图 。训练Loss如下：

                                      

                

     与上个阶段相同，判别器中与 同样是unpaired的，因此第二个Cycle-GAN也是无监督的，loss与上阶段类似。

     训练过程为：首先训练LRclean LR，再加上LRHR一起end-to-end训练

 

3.实验结果

     该实验在DIV2K的track2数据集上进行，一共有四个对照组，分别为：

     bicubic、EDSR+、SRGAN+（+代表在track2数据集上fine-tune后的模型）、BM3D+EDSR（首先使用BM3D对输入进行处理，再输入EDSR中）

 

4.Ablation Study

 该部分由三个不同的小网络构成

结构1：去掉第一个Cycle-GAN，即直接将原始图像 输入超分辨率网络中。

            该部分主要验证的是LR步骤是否必要，即SR网络能否直接从未知模糊核中生成理想的超分大图

结构2：去掉第二个Cycle-GAN，即将LRclean LR网络生成的小图输入EDSR中。

             该部分用于验证第二个Cycle-GAN是否必要。

结构3： 将整个网络用一个Cycle-GAN代替。

直观结果如下：

5.总结

  本篇文章针对现实生活中低分辨率图像的模糊核未知且对应的高分辨率GT不存在的问题提出了CinCGAN模型，思路较为新颖，巧妙避开了目前超分辨率领域“硬碰硬”的问题（个人认为目前想要提升Bicubic输入的超分辨率效果已经十分困难了···）。相较于其他的强监督方法，该方法虽然是无监督的，仍能取得comparable的结果，是一篇比较有意思的文章。