- CVPR2018
- 问题:首先是LR degradation过程是未知的,且没有成对的LR-HR对;
- 做法:借鉴风格迁移的工作,做了相应的适配以实现超分,分为三个阶段:
- L R → c l e a n L R LR\rightarrow clean\ LR LR→clean LR:clean LR的图像是由HR仅经过bicubic dowmsampling得到的,这一个过程是对LR图像进行deblur和denoise;
- c l e a n L R → H R clean\ LR\rightarrow HR clean LR→HR:使用现成的SR模型完成分辨率的提升;
- 上面两个阶段的模型同时进行微调得到最终的结果;
- X X X来表示LR, x i ∈ X x_i\in X xi∈X, Y Y Y来表示clean LR, y i ∈ Y y_i\in Y yi∈Y, Z Z Z来表示HR, z i ∈ Z z_i\in Z zi∈Z,其中 y i y_i yi是由 z i z_i zi经过bicubic kernel降采样得到的;
-
L
R
→
c
l
e
a
n
L
R
LR\rightarrow clean\ LR
LR→clean LR: 涉及到模型generator
G
1
,
G
2
G_1,G_2
G1,G2和discriminator
D
1
D_1
D1
- 首先是generator-adversarial loss: L G A N L R = 1 N ∑ i N ∣ ∣ D 1 ( G 1 ( x i ) ) − 1 ∣ ∣ 2 \mathcal{L}^{LR}_{GAN}=\frac{1}{N}\sum_i^N||D_1(G_1(x_i))-1||_2 LGANLR=N1∑iN∣∣D1(G1(xi))−1∣∣2
- 为了保证输入 x x x和输出 y y y的一致性,添加了 G 2 G_2 G2,对应的损失: L c y c L R = 1 N ∑ i N ∣ ∣ G 2 ( G 1 ( x i ) ) − x i ∣ ∣ 2 \mathcal{L}_{cyc}^{LR}=\frac{1}{N}\sum_i^N||G_2(G_1(x_i))-x_i||_2 LcycLR=N1∑iN∣∣G2(G1(xi))−xi∣∣2
- identity loss: L i d t L R = 1 N ∑ i N ∣ ∣ G 1 ( y i ) − y i ∣ ∣ 1 \mathcal{L}_{idt}^{LR}=\frac{1}{N}\sum_i^N||G_1(y_i)-y_i||_1 LidtLR=N1∑iN∣∣G1(yi)−yi∣∣1
- 保持spatial的平滑: L T V L R = 1 N ∑ i N ( ∣ ∣ ∇ h G 1 ( x i ) ∣ ∣ 2 + ∣ ∣ ∇ w G 1 ( x i ) ∣ ∣ 2 ) \mathcal{L}_{TV}^{LR}=\frac{1}{N}\sum_i^{N}(||\nabla_hG_1(x_i)||_2 + ||\nabla_wG_1(x_i)||_2) LTVLR=N1∑iN(∣∣∇hG1(xi)∣∣2+∣∣∇wG1(xi)∣∣2)
- c l e a n L R → H R clean\ LR\rightarrow HR clean LR→HR:涉及到现成的模型EDSR
- 两段模型联合微调阶段:涉及模型
G
1
,
G
2
,
G
3
,
D
1
,
D
2
G_1,G_2,G_3,D_1,D_2
G1,G2,G3,D1,D2
- 首先是generator-adversarial loss: L G A N H R = 1 N ∑ i N ∣ ∣ D 2 ( S R ( ( G 1 ( x i ) ) ) − 1 ∣ ∣ 2 \mathcal{L}^{HR}_{GAN}=\frac{1}{N}\sum_i^N||D_2(SR((G_1(x_i)))-1||_2 LGANHR=N1∑iN∣∣D2(SR((G1(xi)))−1∣∣2
- 为了保证输入 x x x和输出 y y y的一致性,添加了 G 2 G_2 G2,对应的损失: L c y c H R = 1 N ∑ i N ∣ ∣ G 3 ( S R ( G 1 ( x i ) ) ) − x i ∣ ∣ 2 \mathcal{L}_{cyc}^{HR}=\frac{1}{N}\sum_i^N||G_3(SR(G_1(x_i)))-x_i||_2 LcycHR=N1∑iN∣∣G3(SR(G1(xi)))−xi∣∣2
- identity loss: L i d t L R = 1 N ∑ i N ∣ ∣ S R ( z ′ ) − z ∣ ∣ 1 \mathcal{L}_{idt}^{LR}=\frac{1}{N}\sum_i^N||SR(z')-z||_1 LidtLR=N1∑iN∣∣SR(z′)−z∣∣1,其中 z ′ z' z′是 z z z bicubic降采样得到的
- 保持spatial的平滑: L T V L R = 1 N ∑ i N ( ∣ ∣ ∇ h S R ( G 1 ( x i ) ) ∣ ∣ 2 + ∣ ∣ ∇ w S R ( G 1 ( x i ) ) ∣ ∣ 2 ) \mathcal{L}_{TV}^{LR}=\frac{1}{N}\sum_i^{N}(||\nabla_hSR(G_1(x_i))||_2 + ||\nabla_wSR(G_1(x_i))||_2) LTVLR=N1∑iN(∣∣∇hSR(G1(xi))∣∣2+∣∣∇wSR(G1(xi))∣∣2)
Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks
于 2024-04-22 15:11:24 首次发布
这篇文章介绍了一种在CVPR2018会议上提出的超分辨率方法,通过借鉴风格迁移的思想,将LR图像分为去模糊、去噪和分辨率提升三个阶段。使用生成器和判别器进行对抗训练,同时结合循环一致性和身份损失,以及保持空间平滑性的梯度损失,最后通过预训练的ESDR模型进行联合微调以提高最终结果。
摘要由CSDN通过智能技术生成