ICCV 2021 workshop
创新点
- 使用合成数据进行训练,引入高阶退化建模过程来更好的模拟退化,并且考虑到合成过程中的ringing和overshoot问题;
- 使用一个谱归一化的u-net discriminator
问题引入
- 很多方法采用的bicubic downsampling不能很好的建模图片的退化;
- blind SR针对的就是未知退化过程的恢复;
- 退化包含:blur, downsampling, noise, JPEG compression,显示图片的实际退化是许多退化类别的复杂组合;
- 所以将一阶的退化模型扩展到多阶,本文使用的是2阶,除了高阶退化建模以外,还加入sinc滤波器来模拟ringing和overshoot;
- 退化空间变大了,随之要求discriminator也更加强大,使用unet结构,并且为了增强训练的稳定性,使用了谱归一化正则spectral normalization;
Method
- 经典的退化建模,其中
y
y
y是GT,
k
k
k是一个blur kernel,后面跟一个r倍的降采样,加上噪音
n
n
n之后经过JPEG compression
- 高阶的退化模型
其中 n n n表示阶数, D D D表示经典的退化建模
- ringing and overshoot
边缘处出现的artifacts,使用sinc filter,来cut off high frequencies模拟两种artifacts
- 使用的SR模型是ESRGAN
- discriminator使用unet结构,输出的是每个像素的realness value
- 使用spectral normalization regularization来稳定训练
实验