Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks

• CVPR2018
• 问题：首先是LR degradation过程是未知的，且没有成对的LR-HR对；
• 做法：借鉴风格迁移的工作，做了相应的适配以实现超分，分为三个阶段：
  1. $LR\to cleanLR$：clean LR的图像是由HR仅经过bicubic dowmsampling得到的，这一个过程是对LR图像进行deblur和denoise；
  2. $cleanLR\to HR$：使用现成的SR模型完成分辨率的提升；
  3. 上面两个阶段的模型同时进行微调得到最终的结果；
• $X$来表示LR，$x_i\in X$，$Y$来表示clean LR，$y_i\in Y$，$Z$来表示HR，$z_i\in Z$，其中$y_i$是由$z_i$经过bicubic kernel降采样得到的；
• $LR\to cleanLR$： 涉及到模型generator $G_1,G_2$和discriminator $D_1$
  1. 首先是generator-adversarial loss：${\mathcal{L}}_{GAN}^{LR}=\frac{1}{N}{\sum }_i^N||D_1(G_1(x_i))-1|{|}_2$
  2. 为了保证输入$x$和输出$y$的一致性，添加了$G_2$，对应的损失：${\mathcal{L}}_{cyc}^{LR}=\frac{1}{N}{\sum }_i^N||G_2(G_1(x_i))-x_i|{|}_2$
  3. identity loss: ${\mathcal{L}}_{idt}^{LR}=\frac{1}{N}{\sum }_i^N||G_1(y_i)-y_i|{|}_1$
  4. 保持spatial的平滑：${\mathcal{L}}_{TV}^{LR}=\frac{1}{N}{\sum }_i^N(||{\nabla }_h{G}_1(x_i)|{|}_2+||{\nabla }_w{G}_1(x_i)|{|}_2)$
• $cleanLR\to HR$：涉及到现成的模型EDSR
• 两段模型联合微调阶段：涉及模型$G_1,G_2,G_3,D_1,D_2$
  1. 首先是generator-adversarial loss：${\mathcal{L}}_{GAN}^{HR}=\frac{1}{N}{\sum }_i^N||D_2(SR((G_1(x_i)))-1|{|}_2$
  2. 为了保证输入$x$和输出$y$的一致性，添加了$G_2$，对应的损失：${\mathcal{L}}_{cyc}^{HR}=\frac{1}{N}{\sum }_i^N||G_3(SR(G_1(x_i)))-x_i|{|}_2$
  3. identity loss: ${\mathcal{L}}_{idt}^{LR}=\frac{1}{N}{\sum }_i^N||SR(z^{\prime })-z|{|}_1$，其中$z^{\prime }$是$z$ bicubic降采样得到的
  4. 保持spatial的平滑：${\mathcal{L}}_{TV}^{LR}=\frac{1}{N}{\sum }_i^N(||{\nabla }_{h}SR(G_1(x_i))|{|}_2+||{\nabla }_{w}SR(G_1(x_i))|{|}_2)$