ECCV 2022 | 北大&腾讯：利用度量学习来解决可调节的图像超分辨率

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

转载自：机器之心  |  作者：Chong Mou

来自腾讯 ARC Lab 的研究者们提出利用无监督的度量学习, 来训练现实场景下可调节的图像超分辨率任务。

现实世界超分辨率 (Real-world super-resolution) 是指从包含真实退化的低分辨率图像中复原得到高分辨率的图像. 可调节的现实世界图像超分辨率是一个很有挑战的任务, 因为降质 (degradation) 过程复杂且未知，可调节的交互机制很难通过有监督的训练来完成。

对于可调节的图像超分辨率, 之前的工作主要在经典退化的仿真数据上进行研究，也就是说我们已知了退化类型和退化强度。虽然这种设计在仿真数据上有不错的表现，但在现实场景下的应用仍然存在很多问题：

• 经典的仿真退化很难模拟复杂的现实世界退化，训练出的网络在现实世界数据上重建效果较差。同时，这种设定下训练得到的可调节交互机制在现实世界数据上的调节效果也会大打折扣。

• 虽然高阶退化可以用来仿真现实世界的低清图像，但这种仿真退化下的退化强度是未知的，很难通过有监督的训练来构建这种可调节交互机制。

最近无监督的对比学习在底层视觉领域受到越来越多的关注。这类方法方便了复杂降质特征的提取，这给来自腾讯 ARC Lab 的研究者们提供了一个思路: 是否可以利用对比的方式无监督的构建现实场景下图像超分辨率的可调节交互机制?

• 论文：MM-RealSR: Metric Learning based Interactive Modulation for Real-World Super-Resolution

• 论文地址: https://arxiv.org/abs/2205.05065

• 开源代码：https://github.com/TencentARC/MM-RealSR

• Colab Demo: https://colab.research.google.com/drive/1pIpHK4g2uKdbYXIuskusL9WdwQVZAz1q

这篇工作的核心是利用度量学习在高阶仿真退化中，通过对比不同样本退化强度大小的方式无监督地构建退化强度的度量空间。度量空间中的退化得分不代表真实的退化强度，但可以反映退化强度的相对大小。本篇文章提出的方法（MM-RealSR）通过度量空间中的退化得分来构建现实场景下图像超分辨率的可调节交互机制。

本文提出了在复杂的退化空间中，划分两个度量空间，分别是广义 noise 和广义 blur。因为这两种退化因素是真实场景下最为常见的也是人们最关注，和最需要调节的。MM-RealSR 在现实场景下可以达到如下图 1 的调节效果。相比于近几年其他可调节复原方法, MM-RealSR 不仅实现了现实场景下的可调节图像超分辨率, 整体重建结果也更加自然。

图 1. MM-RealSR 在真实场景下的可调节超分辨率效果

现有可调节复原方案的回顾与对比

如图 2 所示，首先来看，现有方案针对的图像退化设定是低阶的，需要已知退化类型和退化强度的。本文提出的方案面向现实场景，退化过程是高阶的，未知退化类型和退化强度的。

图 2. 本文提出方案与现有方法的对比

MM-RealSR 结构

本文关注真实场景中最常见的两种退化因子，广义 noise 和广义 blur，并对这两种退化因子做了一般化的定义如图 3 所示。其中 noise 包含高斯噪声、泊松噪声，和 JPEG 压缩等；blur 包含各向同性、各向异性，以及随机尺寸变换等模糊因素。

图 3. 退化因子的定义

针对这两种退化因子，本文提出的无监督退化估计模块如图 4 所示。通过度量学习，该模块将难以量化的现实世界退化强度映射到两个独立的度量空间之中。通过不同退化强度之间的大小对比，构建度量空间中的距离关系。本文额外通过一个锚点损失函数限制度量空间的分布。虽然度量空间中的退化得分无法反映真实的退化强度，但可以体现退化强度的相对大小关系。本文将无监督的退化估计模块和图像超分辨率模块进行联合训练，来构建退化得分和重建结果之间的可调节关系。

图 4.  基于度量学习的无监督退化估计模块

本文提出的总模型结构如图 5 所示。由退化估计模块、状态变量生成模块，以及重建模块构成。其中状态变量生成模块将预测到的退化得分转化成一组状态变量，并将这组状态变量以仿射变换的方式注入图像重建模块当中去，起到调节重建结果的作用。实验证明，本文提出的方法兼顾优越的重建效果和可调节能力。

图 5.  基于度量学习的可调节现实世界图像超分辨率网络

损失函数

本文通过 L1，Perceptual 和 GAN 复原损失函数来保证图像重建质量，通过度量损失函数（margin ranking losses）来训练噪声度量空间和模糊度量空间。度量损失函数的表达式:

为了控制度量空间中评分的分布，本文还提出了一个锚点损失函数：

和现有的现实世界图像超分辨率工作 Real-ESRGAN 类似，本文采用高阶退化的仿真数据作为训练数据。更多的细节请参见论文。

实验结果

研究者们在现实世界的低质量数据上做了重建效果的测试:

可以看到，本文提出的方法在具备交互能力的基础上，超分辨率的性能也达到了 SOTA 的水平，主观结果也更加美观自然。

研究者们在现实世界数据上对无监督退化评分器的评分能力进行了测试：

可以看到，无监督退化评分器可以较好地评估现实场景下的退化强度。

研究者们在现实世界数据上对网络的交互重建能力进行了测试：

可以看到，对比现有方法，MM-RealSR 在交互重建能力上有更好的表现。它的交互范围更大，重建效果更好。

小结

本文提出了在真实场景下，可调节的维度主要是广义 noise 和广义 blur 两方面。通过无监督的度量学习，首次实现了真实场景下可调节的图像超分辨率。提出的方法在调节能力和超分辨率性能上都取得了优异的表现。

点击进入—> CV 微信技术交流群

CVPR 2022论文和代码下载

后台回复：CVPR2022，即可下载CVPR 2022论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

超分辨率交流群成立
扫描下方二维码，或者添加微信：CVer222，即可添加CVer小助手微信，便可申请加入CVer-超分辨率 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如超分辨率+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer222，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看