【对比学习超分辨】A Practical Contrastive Learning Framework for Single Image Super-Resolution

要点1

本文动机：简单的对比学习很难直接用在低级的视觉表示上，因为低级的视觉表示要能够表示更多的纹理信息和上下文信息（例如超分辨任务中可能会用到的视觉表示）。

对现有方法两个方面的观察：

  样本结构：现有方法仅仅将低质量样本作为负样本，groundtruth作为正样本。

  特征编码：现有方法仅仅使用一个先验模型（如训练好的VGG模型）去获得特征编码。

基于此，本文设计了一种新的更符合实际任务的对比学习方案，不适用预训练的模型，设计了一个简单高效的编码网络，最终达到了很不错的效果。

要点2

本文的方法：

整个方案如上图所示，上半部分是训练编码网络的过程，下半部分是通过训练好的编码网络进行对比损失的计算。

正负样本生成：

超分辨的任务是为了生成包含更多高频信息的高分辨率图像（包括更多的边缘信息和纹理信息），基于此，正如上图的下半部分所示，本文的方法先生成锐化之后的高分辨样本。锐化通过一些随机的锐化函数实现的，这些锐化之后的样本就是正样本。还用模糊的方法生成了模糊之后的高分辨样本，模糊是通过一些随机的高斯核实现的，模糊后的这些样本作为负样本。

特征编码网络：

这里提到的特征编码网络是为了提取表示来进行对比学习。作者反复强这里的特征编码网络应该能够表示更多的细节，而之前的VGG则只能学习到比较复杂的语义信息。

要点3

训练编码网络的损失是用一种类似于训练GAN网络判别器的一种损失，如下：

训练超分辨时的损失如下：

对比损失，还有一种是常见的L1损失，二者通过系数组合到一起。