腾讯图像超分辨率算法RealSR,开源了

近日，腾讯优图实验室提出一种新的图像超分辨率算法RealSR并开源。该算法在CVPR-NTIRE-2020真实图像超分比赛中以明显优势获得双赛道冠军。

 

赛事介绍

在2020年的NTIRE真实图像超分比赛中，腾讯优图团队参加Image Processing artifacts及Smartphone Images两个Track均以明显优势获得第一名。NTIRE比赛是图像增强领域的权威赛事(https://data.vision.ee.ethz.ch/cvl/ntire20/)，由ETH Zurich（苏黎世联邦理工学院）的Computer VisionLaboratory组织，和CVPR共同举办。其中真实图像超分比赛专注于无监督超分技术（更贴合真实场景需求），吸引了包括INRIA, 北京大学等国内外知名研究机构及高校, 以及Samsung, Huawei等关注移动设备超分的国内外公司参与。

 

比赛获奖证书

 

超分辨率是什么

超分辨率是指将低质量压缩图片恢复成高分辨率图片的过程。随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，其重要性毋容置疑，最直观的效果就是人眼感官质量的提升。如下图所示，左边是一张LR图片，右边分别是三种不同方法的对比（最右边是我们提出的RealSR方法结果），可以看到RealSR在模糊/噪声的去除表现上，明显优于当前最优开源方法EDSR/ZSSR，获得了更加清晰/无噪的高分辨率结果。

RealSR和已有方法对比

 

算法创新设计

与已有的超分辨率方法相比，RealSR的创新主要体现在三个方面：

1. RealSR采用了自主设计的新型图片退化方法，通过分析真实图片中的模糊和噪声，模拟真实图片的退化过程

2. 不需要成对的训练数据，利用无标记的数据即可进行训练。

3. 可以处理低分辨率图像中的模糊噪声问题，得到更加清晰干净的高分辨结果。

算法的主要步骤可以分为两个模块：退化模型的估计，超分模型的训练。方法框架如下图所示

RealSR算法框架

 

比赛官方结果

在官方汇报的比赛结果中，RealSR队伍（Impressionism）在合成数据和真实数据两个赛道上均获得了第一名。Track 1主办方评价说，RealSR生成的结果几乎没有噪声，甚至在视觉效果上超过了监督方法，是真实图像超分研究的一个里程碑式的创新。Track 2主办方评价，相比于其他参赛者方法，RealSR生成了更加清晰更加干净的结果，在MOR视觉得分上以较大优势领先。

Track 1 榜单结果

Track 2 榜单结果

 

业务落地

超分算法广泛应用于图片、视频修复技术中，以能够以较低的储存和传输成本获得更高清的视觉感受。另外超分算法也服务于人脸人像等深度合成技术，有助于生成细节更逼真的效果。老旧照片的修复同样也需要使用人像清晰化技术。

随着播放设备的能力逐渐提高，用户对于图像/视频质量的追求也在不断上升，提升图像视频的质量的需求越来越多。为了在不同场景中提升用户体验，算法需要考虑更加复杂的降质模型，准确地估计图像中的退化，从而改善生成结果，视觉感官更加真实。

Real-SR开源！

https://github.com/Tencent/Real-SR

（点击文末阅读原文直接访问）

请给项目 一个 Star !

欢迎提出你的 issue 和 PR！

 国内镜像地址：

https://git.code.tencent.com/Tencent_Open_Source/Real-SR

（登录后才能访问公开项目）

腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像