RealSR算法汇总

RealSR

• NTIRE2020真实超分双赛道冠军；
• 两阶段：1）自监督数据生成；2）监督SR超分；
• 作者提出一种新的数据制作方案：统计模糊核与真实噪声分布并用于制作训练数据对；可以使得LR与真实世界图像处于同域，进而将提升图像超分的性能；
• 作者提出一种真实世界超分模型以获得更好的感知效果
• 真实世界超分的关键问题在于如何引入精确的降质模型以确保生成的LR图像与原始图像具有同域属性(比如噪声分布、模糊等)
• 在实际场景，HR图像、模糊核和噪声均未知的。为更精确的估计降质模型，我们需要从图像中估计模糊核与噪声。一旦得到这些模糊核与噪声，我们就可以利用其构建一个降质池用于对清晰HR图像降质生成LR图像。
• Clean-UP：为得到更多的HR图像，首先从源域生成无噪图像，作者采用双三次下采样方式对源域真实图像进行处理，它可以移除噪声同时确保图像的锐利度。
• Degradation: 作者将经双三次插值得到的图像视作HR，然后从前述构建的降质池中随机选择模糊核。
• 噪声注入：为使最终得到的LR图像与源域中的图像具有相似的噪声分布，作者提出直接从源域 数据中收集噪声。作者指定了这样一个规则：如果某个块的方差小于设定的阈值，则将其纳入到降质池中
• 该方案只需真实图像，将真实图像clean-up生成HR图像，加模糊核和噪声生成对应的LR图像，再基于成对的LR-HR图像进行超分训练；
  
  补充kernelGAN:
  
• 问题：理论上生成的LR图像是clean-up的HR图像通过真实的模糊核和噪声进行降质的，生成器学习的为其逆过程，但收集的模糊核和噪声也许并不全，此外clean-up的HR图像高频信息也是缺失的，生成器对高频信息的学习是不足的，realSR生成的HR图像中含有伪影、人脸马赛克。

DSGAN

• AIM2019真实超分赛道冠军；
• 两阶段：1）非监督数据生成；2）监督SR超分；
• 非成对LR-HR图像（模拟降质过程生成LR图像，在实验时，当z为HR域图像时，模拟生成HR图像，当z为LR域图像时，生成为LR图像，然后利用生成的LR-HR图像对进行超分训练）；
• 采用双三次下采样生成LR图像问题：上三次下采样生成的LR图像与原始HR图像不同源；
• 提出一种生成同源LR图像的方法，并用于训练超分模型；
• 采用双三次下采样由HR(y)制作LR；
• 我们在LR图像进行处理。双三次下采样保留了图像低频信息，移除了高频信息。这就导致了低频信息(颜色、内容)得以保留，而高频信息被丢失
• 通过GAN(颜色+内容+对抗损失)改变上述制作的LR图像特性以使其匹配HR图像特性；
  作者提出仅对高频成分进行判别，而保持低频与原始LR相同。这极大的降低了所提问题的难度，同时使得判别器更多聚焦于相对图像特征。
• 采用所得同源LR-HR方法训练超分模型，此时采用高低频分离方式，低频采用L1损失，高频采用对抗损失。
• z为源域图像，即想要得到的源图像；
  
• 损失函数：
  颜色损失（低频）：​
  $$L_{col,d}=\frac{1}{m}\sum _{i=1}^m|w_{L,d}\ast G_d(x_B^i)-w_{L,d}\ast x_b^i{|}_1$$
  GAN loss只用于高频信息：
  $$L_{tex,d}=-\frac{1}{m}\sum _{i=1}^{m}mean(log{D}_d(w_{H,d}\ast G_d(x_b^i))),L_{D_d}=-\frac{1}{m}\sum _{i=1}^{m}mean(log{D}_d(w_{H,d}\ast z^i))+mean(log(1-D_d(w_{H,d}\ast G_d(x_b^i))))$$
  为确保高低频更好的互相拟合，作者还引入了感知损失(即生成图像与源图像的VGG特征)。总体损失函数定义如下：
  $$L_{G_d}=L_{col,d}+0.005\cdot L_{tex,d}+0.01\cdot L_{per,d}$$

Guided Frequency Separation Network for Real-World Super-Resolution

• NTIRE2020（基于DSGAN的改进，DSGAN生成LR图像时，有color shift，基于此数据训练的SR模型生成的图像过于平滑；改进地方：在生成LR图像的生成器中采用CARB模块，生成LR的判别器中高频损失就是对抗损失的一种，监督SR算法，判别器不同，此外生成器加了edge-loss）
• 存在的问题：1）bicubic下采样生成的LR图像与真实图像域不同，不含有伪影、传感器噪声和其他自然属性；2）目前通过GAN生成的LR图像破坏了颜色的连续性；
• 提出了域映射网络，该域映射网络是以CARB（Color Attention Residual Block，CARB）为基本单元的；
• SR判别器分别处理低频和高频特征；
• 利用Canny算法引入Edge-loss；
• 两阶段：1）非监督数据生成；2）监督SR超分；
• HSV颜色空间：S表示饱和度，它与图像方差有关。V表示数值，与图像平均值有关。
• 补充AdaIN:
  
  IN对每个样本在每个通道进行规范化：
  
  
  
  AdaIN:
  AdaIN和IN的不同在于仿射参数来自于样本，即作为条件的样本，也就是说AadIN没有需要学习的参数，这和BN，IN，LN，GN都不同。
  
• 第一阶段的gan网络，生成器的主要单元为CARB（Color Attention Residual Block），其中AdaIN的使用使得能够控制color shift，生成器的输入为bicubic将采用的HR图像块，生成器及判别器细节如下所示：
  
  
  生成器损失函数：
  $$L_G={\lambda }_{t1}\ast L_{low}+{\lambda }_{t2}\ast L_{per}+{\lambda }_{t3}\ast L_{high}$$
  其中：
  
  $F_L()$表示高斯低通滤波器；
  
  
  判别器损失函数定义：
  
• 第二阶段：利用前一阶段的网络生成LR图像，构成LR-HR图像对，然后基于LSGAN进行训练，判别器分为高低频提取特征，细节如下：
  
  此阶段的生成器损失函数除了对抗损失和$l_1$损失外，另添加了边缘损失：
  
  其中$F_E$表示Canny边缘检测器。

Real-World Super-Resolution using Generative Adversarial Networks

• NTIRE2020
• bicubic降采样获取的LR-HR图像对训练出来的网络在real-world LR图像上易产生伪影；
• 整个过程分三步：第一步为real-world SR生成数据；第二步训练不同的GANs（ESRGAN，其中生成器换为RCAN，通过采用不同的判别器及超参数训练不同的生成器）；第三步对训练好的不同的SR-GANs的预测结果进行集成（pixel-wise集成）。整个网络结构如下图所示：
  
• 数据生成：第一个数据集为不知LR数据源的情况下进行数据生成，对HR图像进行以下操作：
  
  其中y表示高分图像，k表示模糊核，*表示卷积操作，D()表示降采样，N()表示加噪声。
  1）降采样：随机选择最近邻、双线性、bicubic、Lanczos降采样方法；
  2）模糊核：各项同性具有标准差的高斯模糊核，标准差取值范围[0.2,3]，核大小为​；
  3）噪声：高斯噪声、泊松噪声、高斯-泊松噪声；
  第二个数据：已知LR图像为移动设备源时，DPED（对应尺寸的图像对用于图像增强）中，DSLR图像块（其中的Cannon相机拍摄的）通过基于第一个数据集训练的超分网络进行超分作为HR图像，对应的移动设备LR图像块作为LR图像。
• GAN训练：训练两个GAN（生成器为RCAN），第一个GAN的判别器为相对判别器，即生成器的对抗损失为：

$D_R$​预测$x_r$是否比$x_f$更真；
生成器的损失函数为（$\lambda =0.005,\eta =0.01$​)

第二个GAN的判别器为普通判别器，即判断输入图像是真是假，生成器的损失函数为（$\lambda =0.0005,\eta =0.01$​）

SR-GANs集成：亮度值较低的地方易是伪影，基于此，集成策略如下：

其中$Y_{med}$​为​的YCrCb颜色空间的Y通道均值，​$\alpha =0.6,\beta =0.4,\gamma =64$​。

Unpaired Image Super-Resolution using Pseudo-Supervision

• 论文链接：https://arxiv.org/abs/2002.11397?context=eess
• CVPR2020
• 网络结构：
  
  1）蓝色线是从高分图像出发，先对HR图像降采样，然后再利用$G_{XY\downarrow }$生成pseudo-clean的LR图像，再通过超分网络$U_{Y\downarrow Y}$生成超分图像，与原始的HR图像可以计算常用loss；
  2）黑色箭头是真实图像超分的流程，两个过程相互辅助；
  3）loss：
  
  前三个为对抗损失函数，第四项为循环一致性损失：
  
  第五项为身份损失，保证在去噪过程中像素不会变异，无躁图像输入去噪网络后不会产生干扰因素：
  
  第六项为几何损失，保证旋转和翻转后的图片保持结果相同，其实就是变相的通过这个损失约束去噪过程的一致性，例如LR图像经过旋转得到两张LR图像，经过去噪生成两张去噪后的LR图像而该损失就是通过将去噪后的旋转的LR图像旋转回原位并与去噪后未旋转的LR图像做损失，来增强其去噪能力（借鉴https://blog.csdn.net/qq_34049103/article/details/106012476）：
  

Correction Filter for Single Image Super-Resolution: Robustifying Off-the-Shelf Deep Super-Resolvers

• 论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Abu_Hussein_Correction_Filter_for_Single_Image_Super-Resolution_Robustifying_Off-the-Shelf_Deep_Super-Resolvers_CVPR_2020_paper.pdf
• 代码工程：https://github.com/shadyabh/Correction-Filter
• 论文思想：通常的SR网络是在LR-HR图像对上训练的，其中LR图像多是采用bicubic降采样获取的，此类训练好的网络在真实的LR图像上测试效果不好，本文通过correction滤波器，将真实的LR图像转换为bicubic降采样得到的LR图像，再将转换后的LR图像送入常规的SR网络