Unsupervised Degradation Learning for Single Image Super-Resolution

这篇文章主要写了由于现行的超分过程中的低分辨率图像是由人为合成的，而自然的lr图像更为复杂，所以由人为合成的lr图像与标准hr图像训练的网络在真实的lr图片进行测试的时候泛化性能不强，也就是说用人为合成的lr图像对训练的网络在用真实的lr图像进行测试时可能无法表现出很好的超分效果。
退化模型：通过添加了一个残差网络将下采样过程变成了一个可学习的过程，人工下采样过程中，由于参数固定所以为一个固定过程 这里主要解释最后的一个卷积层和一个逆向的pixel-shuffel，此处为下采样过程，因此此处卷积功能应该为将前层的残差块卷积出的特征图进行降维，将维度降为1，后通过一个逆亚像素卷积生成多张低分辨率特征图（如此处1张特征图进行下采样因子为2的下采样，每隔两个灰度值取一次样生成特征图）此处主观认为此处缺少一个卷积层将低分辨率图片卷积成为三通道图像


重建模型：
该模型没有什么主要的创新点最主要的是在卷积后添加了一个mult层，该mult层取自EDSR该层将卷积后的特征图乘以一个小数可以保证训练更加稳定，改进模型最简单的方式是增加参数数量，在卷积神经网络中，可以叠加更多的层来增加filter的数量，因此考虑在有限的深度下，增加卷积核层数有利于提高模型性能，在Inception-V4中作者发现，在残差网络中卷积层卷积核大于1000个时候网络会在训练早期就死亡，作者还发现将残差缩放后再与原特征图相加可以使网络更加稳定

回到总网络结构，首先该模型在训练时是利用div2k和flickr2k数据集作为输入的高分辨率图片，利用从widerface中截取的高分辨率图片（保证为真实世界的低分辨率图片）作为低分辨率图片，因为低分辨率图片与高分辨率图片出自两个不同的数据集所以该超分训练过程为盲超分，首先训练退化模型和鉴别器，将高分辨率图片与真实低分辨率图片输入，首先初始时退化模型并不知道怎么进行退化，鉴别器（鉴别器这里主要是鉴别lr图像是否为真实世界的lr图像）也不知道如何进行鉴别，因此通过损失函数约束，首先是对抗损失，其实这里对抗损失分为三部分损失，第一部分是鉴别器损失，令真实的lr图片输入后经过sigmoid输出一个值后与1作交叉熵通过反向传播训练网络的参数，令生成的lr图片输入经过sigmoid输出一个值后与0作交叉熵训练网络参数，代码中将这两个损失函数打包训练鉴别器，第二部分将生成的lr图片输入鉴别器经过sigmoid生成一个概率后与1作交叉熵，通过反向传播使生成的lr图像向着真实的lr图像不断变化，相当于第一部分的损失用在鉴别器后第二部分损失用在生成低分辨率图片，另外对抗损失只是使生成的lr图像在一定的图像基础上尽可能逼近真实lr图像，因此还需要一个能够使生成图像与原始图像内容结构一致的损失，此处因为生成的低分辨率图片没有任何lr图像标签，只有原图的hr图像与其内容一致所以采用这两张图片用vgg19作了一个结构感知损失，又因为低分辨率图像边界大部分都是模糊的所以他就用了第四层的vgg卷积层作为输出将两图片放缩到vgg19的输入大小224*224，进行结构一致性的约束。

后训练重构模型，首先用了TV（总变分）损失主要用来消除伪像和去除噪声，不过TV损失由于使相邻像素的梯度都尽量小会导致图像过于平滑因此在重建总损失里通过实验获得一个比例因此去控制该损失的约束程度，以保证重建出的超分图像不会模糊的基础上消除噪声，第二个损失为一个逐元素损失控制SR图像与输入的hr图像之间的像素相似度，去尽可能恢复图像。


之后蓝色线循环其实是分了两个阶段进行的，即训练鉴别器和退化模型和训练重构模型，而我们的目的时为了使我们的模型在测试时即输入低分辨率图像生成高分辨率图象过程中尽可能很好的去泛化真实的低分辨率图形，使低分辨率图形输入到模型中后能够生成一个效果很好的超分图像，因此如果只用一层蓝色循环在训练时仅通过鉴别器去约束图像逼近真实lr图像可能并不能很好的达到真实的lr图像的效果，同时重构网络也仅仅是通过生成的尽量逼近真实的lr图片去训练的,并不是真实的lr图像,因此仍可能存在泛化能力弱的问题,因此作者添加了一个绿色循环用真实的lr图像去训练模型，即真实lr图像经过重构模型与退化模型生成lr图像与真实lr图像作损失，该损失可同时训练两个模型但对于退化模型来说尤为重要，同时增强了两个模型的同步性，因此模型的退化模型的总损失为
重构模型的总损失为