2020CVPR超分列：UnpairedImage SR using Pseudo-Supervision+Data Augmentation SR+Closed-loop Matters

1、Unpaired Image Super-Resolution using Pseudo-Supervision

根据unpaired 训练样本，做一个从LR源域$x(\in X)$到SR目标域$y(\in Y)$的映射。clean LR HR根据一个预先定义好的操作降采样$y_{\downarrow }(\in Y_{\downarrow })$。$F_{XY}$就是指$G_{X{Y}_{\downarrow }}$和 $U_{Y_{\downarrow }Y}$
使用RCAN作为基础结构。

2、Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy（CutBlur)

作者的策略是：
$x_{LR}\in R^{W\times H\times C}$和 $x_{HR}\in R^{sW\times sH\times C}$ 是LR和HR图片patches。CutBlur的做法是首先上采样$x_{LR}$，通过cut past方式将$x_{HR}$past到对应的$x_{LR}$和反过来的操作， 产生训练样本${\hat{x}}_{HR\to LR},{\hat{x}}_{LR\to HR}$。
$${\hat{x}}_{HR\to LR}=M\odot x_{HR}+(1-M)\odot x_{LR}^s$$
$${\hat{x}}_{LR\to HR}=M\odot x_{LR}^s+(1-M)\odot x_{HR}$$
$M\in {0,1}^{sW\times sH}$表示一个二值 mask
作者认为这种方法可以让网络学会‘how’,'where’，使网络超分结果不会产生太过尖锐的边缘。
同时在训练网络的时候，可以用混合的数据增强方式。

3、Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

3. 1总结

目前有三个limitations：
1、映射是病态的，可以有无限多个HR得到同个LR
2、LR-HR图片对在现实中比较难获取到。
3、潜在的退化模型是未知多样的
对于上面的问题，作者：
采用一种双向的方式。用一种双重回归方式形成闭环，减少了优化的空间。假设从LR恢复到HR是最优的，如果用相同的下采样方式，就可以得到原来的下采样图片。通过这个约束，可以预测潜在的下采样核并且减少了从LR到HR的映射空间。
对于第二个限制，作者的方案里面LR图片的回归不依赖于HR图片，可以直接从LR图片里面学习，所以可以很好地迁移到real-word数据集。

3.2 方法

Definition 1(Primal Regression Task) $P:X\to Y$
Definition 2(Dual Regression Task) $D:Y\to X$
两个模型之前形成闭环并且提供了信息监督信号。两个模型同时学习，通过下面的方式：
提供了 $N$ 对图片 S p = { ( x i , y i ) } i = 1 N S_p = \{(x_i, y_i)\}_{i= 1}^N Sp​={(xi​,yi​)}i=1N​。$x_i$和$y_i$ 分别表示了第$i$ 对的低分辨率图和高分辨率图片。训练的loss可以写成
$$\sum _{i=1}^N{L}_p(P(x_i),y_i)+\lambda L_D(D(P(x_i)),x_i)$$
$L_P$和$L_D$是对应的损失函数（$l_1$-norm）。
算法：