前言
本文来自2020的CVPR,其创新点来自CycleGAN。
图像超分辨率的目的是从相应的低分辨率(low-resolution,LR)输入构建高分辨率(high-resolution,HR)图像。
一、摘要
作者指出:在大多数超分研究中,数据集需要(LR-HR)一 一配对好,这无疑增加了成本,作者提出一种无需配对数据集的超分问题解决方案。
二、要点
1.所提出一整套方法
是通过预先操作将HR图像降级为LR(降尺度操作是σ=(比例因子)/2的高斯模糊和双立方降尺度的组合)
是原始低分辨率图片
1.
生成器XY↓:输入原始LR图片,输出操作后的LR(论文中定义为clean LR)
判别器DY↓:判断是不是clean LR
2.
生成器Y↓X:输入clean LR,输出X
判别器DX:判断是不是X
3.
上采样Y↓X:将clean LR 通过上采样操作转为HR
判断是不是经过生成器XY↓和上采样Y↓X操作后的图片
2.多种损失融合
1是对抗损失,2、3都是CycleGAN中提出的损失,3来自 Huan Fu, Mingming Gong, Chaohui Wang, Kayhan Batmanghelich, Kun Zhang, and Dacheng Tao. Geometryconsistent generative adversarial networks for one-sided unsupervised domain mapping. In CVPR, 2019.
3.网络结构
GXY↓ 和 UYY↓ 使用RCAN, GY↓X 使用几个残差模块和融合层,判别器均采用PatchGAN,这里几个模型的网络结构可能还有改进空间。
还有值得探讨的是,GY↓X模型每个卷积层后面都有BN层,在ESRGAN中BN层被否定。
实验
对比实验+消融实验
结果是肯定不如几个有一对一数据集的模型的,但是确实是将无监督模型改进了。
总结
CycleGAN在SR的创新应用