- 香港理工大学&OPPO&哈工大 CVPR2023
- https://github.com/ChrisDud0257/HGGT
- 问题引入
- 现在通过模拟退化过程来从高分辨率图像生成低分辨率图像,但是该过程没有引入人类的感知;
- 所以本文首先训练了多个超分模型,为一张LR生成多张对应的HR,之后人工进行标注,将enhanced HR图片中的高质量区域标记为GTs,而artifacts的区域标记为负样本;有了数据集之后还提出了对应的损失函数;
- methods
- 最初的方法使用bicubic来模拟LR图片,之后的方法使用long-short camera focal lengths来收集LR-HR数据对,再之后的方法通过组合多种退化方法(such as Gaussian/Poisson noise, (an-)isotropic blur kernel, downsampling/upsampling, JPEG compression and so on),这个方法也有问题,所以本文提出了一种人类引导的GT数据生成策略;
- 数据生成策略:包含三步:首先训练多个图像增强模型,输入HR,得到enhance之后的结果,在训练的时候还是使用LR-HR数据对,之后增强之后的图片和原图有明显区别的patch被提取出来,最后人工标注成对的patch为positive&similar&negative;
- 增强模型:使用两种degradation设置,这一种侧重noise,一种侧重blur,并且选择了两种网络设置,CNN based和transformer based;
- patch提取和标注:将上面四个增强模型应用到1600张HR数据上(DIV2K-800 + 400网络上收集 + 400手机拍摄)从而得到6400张增强图像,之后在每张图像上裁剪出512*512的patch,之后进行筛选得到20193个group,每个group包含一个HR patch + 4 enhanced patch,之后人工进行标注;
- 训练策略:上面收集到的数据 I H + ( I P o s , I N e g ) I^H+(I^{Pos},I^{Neg}) IH+(IPos,INeg),之后对 I H I^H IH进行退化模拟得到 I L I^L IL,从而得到63583个 L R − P o s LR-Pos LR−Pos对和2514个 L R − N e g LR-Neg LR−Neg对;当仅使用positive pair进行训练的时候,使用 L 1 L_1 L1,perceptual和gan损失;当同时使用positive+negative对进行训练的时候,除上面的三种损失还增加了negtive损失;