Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data

ICCV 2021 workshop
创新点

• 使用合成数据进行训练，引入高阶退化建模过程来更好的模拟退化，并且考虑到合成过程中的ringing和overshoot问题；
• 使用一个谱归一化的u-net discriminator

问题引入

• 很多方法采用的bicubic downsampling不能很好的建模图片的退化；
• blind SR针对的就是未知退化过程的恢复；
• 退化包含：blur, downsampling, noise, JPEG compression，显示图片的实际退化是许多退化类别的复杂组合；
• 所以将一阶的退化模型扩展到多阶，本文使用的是2阶，除了高阶退化建模以外，还加入sinc滤波器来模拟ringing和overshoot；
• 退化空间变大了，随之要求discriminator也更加强大，使用unet结构，并且为了增强训练的稳定性，使用了谱归一化正则spectral normalization；

Method

• 经典的退化建模，其中$y$是GT，$k$是一个blur kernel，后面跟一个r倍的降采样，加上噪音$n$之后经过JPEG compression
  
• 高阶的退化模型
  其中$n$表示阶数，$D$表示经典的退化建模
  
• ringing and overshoot
  边缘处出现的artifacts，使用sinc filter，来cut off high frequencies模拟两种artifacts
  
• 使用的SR模型是ESRGAN
• discriminator使用unet结构，输出的是每个像素的realness value
• 使用spectral normalization regularization来稳定训练

实验