Human Guided Ground-truth Generation for Realistic Image Super-resolution

• 香港理工大学&OPPO&哈工大 CVPR2023
• https://github.com/ChrisDud0257/HGGT

1. 问题引入

• 现在通过模拟退化过程来从高分辨率图像生成低分辨率图像，但是该过程没有引入人类的感知；
• 所以本文首先训练了多个超分模型，为一张LR生成多张对应的HR，之后人工进行标注，将enhanced HR图片中的高质量区域标记为GTs，而artifacts的区域标记为负样本；有了数据集之后还提出了对应的损失函数；

2. methods

• 最初的方法使用bicubic来模拟LR图片，之后的方法使用long-short camera focal lengths来收集LR-HR数据对，再之后的方法通过组合多种退化方法(such as Gaussian/Poisson noise, (an-)isotropic blur kernel, downsampling/upsampling, JPEG compression and so on)，这个方法也有问题，所以本文提出了一种人类引导的GT数据生成策略；
• 数据生成策略：包含三步：首先训练多个图像增强模型，输入HR，得到enhance之后的结果，在训练的时候还是使用LR-HR数据对，之后增强之后的图片和原图有明显区别的patch被提取出来，最后人工标注成对的patch为positive&similar&negative；
• 增强模型：使用两种degradation设置，这一种侧重noise，一种侧重blur，并且选择了两种网络设置，CNN based和transformer based；
• patch提取和标注：将上面四个增强模型应用到1600张HR数据上(DIV2K-800 + 400网络上收集 + 400手机拍摄)从而得到6400张增强图像，之后在每张图像上裁剪出512*512的patch，之后进行筛选得到20193个group，每个group包含一个HR patch + 4 enhanced patch，之后人工进行标注；
• 训练策略：上面收集到的数据$I^H+(I^{Pos},I^{Neg})$，之后对$I^H$进行退化模拟得到$I^L$，从而得到63583个$LR-Pos$对和2514个$LR-Neg$对；当仅使用positive pair进行训练的时候，使用$L_1$，perceptual和gan损失；当同时使用positive+negative对进行训练的时候，除上面的三种损失还增加了negtive损失；