CVPR 2021 | 将无监督对比学习与超分相结合！国防科大提出DASR：盲图像超分的无监督退化表达学习...

最新推荐文章于 2024-10-04 10:36:47 发布

Amusi（CVer）

最新推荐文章于 2024-10-04 10:36:47 发布

阅读量6.4k

点赞数 6

文章标签：卷积计算机视觉人工智能深度学习机器学习

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

本文转载自：AIWalker

标题&作者团队

paper：https://arxiv.org/abs/2104.00416

code：https://github.com/LongguangWang/DASR

本文是国防科大的王龙光等人关于盲图像超分的最新工作，已被CVPR2021接收。作者创新性的将对比学习机制引入到退化表达学习中，并用所得退化表达对后接超分网络中的特征进行调制。受益于对比学习的进展，本文所设计的退化表达学习模块可以从LR图像提取出关于退化信息的精确特征表达；受益于特征表达的数据自适应提取与超分网络的退化调制，所提超分方法在盲图像超分方面取得了SOTA结果。

Abstract

现有基于CNN的图像超分往往假设退化方式固定且已知(比如bicubic/blur-down)，然而，当真实退化与之不同时模型性能就出现严重的下降。为处理真实场景中的各式未知退化，之前的方法往往依赖于退化估计进行超分图像重建。然而，退化估计过于耗时且存在一定的估计误差，这会导致超分效果的不理想。

本文提出一种无监督退化表达学习机制并用于盲图像超分，无需显示退化估计。具体来说，我们在表达空间中学习特征表达用于辨别不同的退化，而非像素空间的显示估计。更进一步，我们引入一种退化感知超分网络(DASR)，它可以基于所学习表达进行灵活自适应超分。

实验表明：本文所提退化表达学习机制可以提取极具辨别性的表达以获得精确的退化信息。合成数据与真实图像上的实验表明：所提方法在盲超分任务上取得了SOTA性能。

Degradation Representation Learning

退化表达学习的目的：采用无监督方式从LR图像中提取一个极具辨别力的表达。下图给出了本文所提退化表达学习示意图，它是一种对比学习框架。该退化表达学习的一个先验假设：同一图像的退化是相同的，而不同图像的退化是不同的。

degradation

给定输入图像块作为query(见上图橙色框)，同一图像内的其他块可视作正样本(见上图红色框)，其他图像提取的图像块视作负样本(见上图蓝色框)。我们采用一个六层的CNN对上述图像块提取退化表达特征，然后参考SimCLR、MoCov2攻入到两层MLP中得到。我们期望与尽可能相似，而与不相似。参考MoCo，我们采用InfoNCE度量相似性，定义如下：

正如现有对比学习方法所强调：一个包含丰富负样本的大字典对于好的表达学习非常关键。在训练过程中，首先，随机选择B个LR图像(即B个不同退化)并每个图像内随机裁剪两个块；然后，这2B图像块编码为。整体损失定义如下：

Degradation-Aware SR

dasr

上图给出了本文所提退化感知超分(DASR)架构示意图，该网络由退化感知模块DABlock作为核心模块，同时采用了RCAN中的核心模块架构。DASR包含5个残差组，每个残差组包含5个DABlock。

在每个DABlock内，两个DA卷积层结合退化表达对特征进行自适应调节。受启发于：不同复原等级的卷积核具有相似的模式但不同的统计信息。本文所设计的DA卷积在退化表达的基础上预测深度卷积的核参数。具体来说，退化表达R送入到两个FC层并reshap为卷积核；然后输入特征F采用该深度卷积及后接卷积处理得到。更进一步，受启发于CResMD，DA卷积同时还基于退化表达学习了调制系数。具体来说，R送入到另两个FC层以及Sigmoid激活生成通道级调制系数，然后对F的不同通道进行缩放调整得到。最后上述所得两个特征相加并送入到后续层生成输出特征。

Experiments

训练数据方面，我们基于DIV2K与Flickr2K，采用不同的高斯模糊进行退化(对于x2/3/4超分，模糊核宽度分辨为 )并附加加性高斯噪声(通过两个随机特征值、旋转角度确定)，噪声水平的范围为。测试数据则采用了常规的Set5、Set14、B100以及Urban00.

Noise-Free Degradation

noise-free

上表给出了无噪退化情形下的模型性能对比，可以看到：

当移除退化表达学习后，模型无法处理多种退化问题，具有更低的PSNR；
受益于动态卷积核与通道调制系数，所提方法对不同退化均生成了更好的结果；
相比对退化估计极为敏感的SRMDNF，受益于退化表达学习，所提方法取得了更好的盲超分性能。

sota-noise-free

上表给出所提方法与RCAN、SRMD、MZSR、IKC等方法的性能对比。从中可以看到：

RCAN在bicubic退化方面取得了最佳PSNR，然而当退化与bicubic不同时模型出现了严重的性能下降问题；
尽管SRMDNF与MZSR可以对估计的退化自适应调整，但这些方法对退化估计过于敏感，限制了其超分性能；
所提DASR对不同退化取得了最佳性能，同时具有更少的推理时间。

noise-free-visual

上图还给出了不同方法的视觉效果对比，本文所提DASR取得了最佳视觉效果。

Anisotropic Gaussian Kernel and Noise

general-degradation

上表对了不同方法在广义退化方面的性能对比，可以看到：

在复杂退化方面，DnCNN+RCAN取得了相对低的性能；
由于SRMDNF对于退化估计的敏感性，DnCNN+SRMDNF+Predictor在复杂退化方面的性能极为有限；
通过迭代校正估计的退化，IKC取得了优于SRMDNF的性能，然而IKC过于耗时；
受益于退化表达学习，本文所提方法取得了最佳的超分性能，同时具有比IKC更快的推理速度。

general-visual

上图给出了所提方法与其他在复杂退化方面的可是话效果对比。很明显，所提方法具有更好的视觉质量；而其他方法则存在不同程度的伪影问题。

Real Degradation

real

最后，我们看一下在真实退化数据上的可视化效果，见上图。可以看到：DASR生成的结果具有更加的视觉效果，清晰的边缘，更少的模糊伪影。

论文PDF和代码下载

后台回复：DASR，即可下载上述论文和代码

CVPR和Transformer资料下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF

CVer-Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群