哈工大&鹏程lab&武大提出"对比学习+超分模型"，实现了新的SOTA-CSDN博客

本文链接：https://blog.csdn.net/moxibingdao/article/details/121943456

关注公众号，发现CV技术之美

✎ 编者言

对比学习在high-level任务上取得了显著的成功，但获得的全局视觉表征不适应丰富纹理和上下文信息的low-level任务，本文对对比学习框架的改进并联合超分辨率模型实现了新的SOTA。

详细信息如下：

论文名称：A Practical Contrastive Learning Framework for Single Image Super-Resolution
论文链接：https://arxiv.org/pdf/2111.13924.pdf
作者单位：哈工大、鹏城实验室、武汉大学

看点

本文中提出了一种对比学习框架，从样本构建和特征嵌入两个角度研究了基于对比学习的SISR。现有的方法使用一些简单的样本构建方法（比如将低质量输入视为负样本，GT视为正样本），并采用先验模型（比如预训练的VGG）来获得特征嵌入，而不是探索任务友好的模型。为此，

方法

针对数据，用表示学习模型和InfoNCE损失来提取表示，基于softmax，对于第个样本，被计算为：

其中，为超参数，为来自同一样本的随机数据扩增而生成的正样本表示。K是负样本的个数，这些负样本是从数据集中随机选取的其他图像。总对比损失为:

当有一个以上的正样本时，对于第幅图像，对比度损失调整为:

其中P为正集的个数，总损失公式不变。对比学习有利于各种下游任务，并实现有前景的表现。可以发现，要使用对比学习方法，需要精心设计的样本选择和构建策略，需要探索一个与任务相关的潜在空间。

信息正样本生成：除了唯一的HR，还应用不同的高通核在HR图像，进一步生成锐化图像作为正集。对于第个图像，正集表示如下:

Sharpen是一个随机的锐化函数。这与现有的基于对比学习的SR方法不同，现有的方法只考虑HR作为正样本。为了生成信息量更大的正样本，我们对HR应用了不同的高通核。这个正样本生成策略的设计遵循如下两点:

硬负样本生成：最近的研究只是简单地对降质图像进行任务处理，这易于识别。为此，本文采用多个负样本，这可以缩小求解空间，进一步提高SR网络的性能。具体来说，首先从HR生成轻微模糊的图像作为的硬负样本集，因为它们接近GT，从而使重建的SR图像更接近HR。负样本集的生成如下：

其中默认使用。Blur采用高斯核模糊函数。

最近的工作基于预先训练的VGG模型设计了一个对比损失。本文则认为任务友好的嵌入网络更好，因为VGG获得的特征往往是分类任务的高级语义信息。此外，一个好的SR嵌入网络应该是退化感知的，这样即使SR非常接近HR，对比损失也可以工作，即一个好的嵌入网络能分辨出细节的变化。

本文发现在GAN框架中学习到的鉴别器是退化感知的，因为它可以正确地分类输入图像的真伪，通过强制其区分SR和HR图像，获得任务友好的嵌入网络，如下图。值得注意的是，为了增强高频分量的学习，我们将图像分离为低频和高频分量，只使用频率分量来训练嵌入网络。

本文使用Haar小波变换提取信息高频分量：LL、LH、HL、HH。然后将三个高频相关的分量(LH、HL和HH)叠加作为输入，并将其输入到鉴别器中。采用对比度鉴别器丢失来训练而不是二元分类。这是一种使用softmax交叉熵公式的单-批分类，计算如下：

其中是提取和叠加LH，HL和HH的操作。

为了充分利用这些正负样本，本文通过嵌入网络对多中间特征进行对比损失。SR图像、正样本和负样本的特征表示分别用，，表示，上标为中的层数索引，对比损失如下：

其中，s是相似函数，采用像素级余弦相似度的平均值作为特征图之间的度量：

故总对比损失为：

其中其中为训练图的数量，为特征层的数量，本实验中设置为4。整体损失定义为：。

实验

不同损失与预训练模型与w/o小波变换的消融实验：

END