1、ZSSR需不需要单独训练各种尺度
不需要。因为网络在测试时进行训练,即,对于每一张测试图像,都会训练CNN网络,同时利用这个网络得到重构图像。其train+test时间与sot A监督CNN的测试运行时间相当。
2、ZSSR的实验部分搞明白
实验分为两大类:(1)理想情况和(2)非理想情况。
(1)理想情况
即LR图像是由HR图像双三次下采样得到的。
(2)非理想情况
真实的LR图像往往无法理想地生成。这又分为两种情况:①非双三次核和②低质量图像(带有噪声、伪影)
①使用随机高斯核对HR下采样得到LR图像,创建出一个新的测试数据集。因此,每个LR图像都是由不同的随机核下采样得到的。考虑了两种应用ZSSR的情况:
- 用Blind-SR估计下采样核,并提供给ZSSR。(对于外部监督的Sot A SR方法,在测试时提供估计的下采样核是没用的)
- 将ZSSR与用于创建LR的真正下采样核一起用
3、SFTGAN中优化目标和损失函数的联系,分别是干什么的
目标函数来衡量模型的好坏,它由样本值和预测值之间的误差组成,而误差由损失函数来衡量。
perceptual loss:
将真实图片的feature与生成图片的feature作比较,使得高层信息(内容和全局结构)接近,也就是感知的意思。
以往的代价函数使重建结果有较高的PSNR,但是缺少了高频信息,perceptual loss能够使生成图像的高频信息更接近真实图像的高频信息,以生成更加真实的图像。
adversarial loss:
来自GAN的对抗性损失用来鼓励生成器支持多种自然图像中的解决方案。应该就是为了使我们生成的图像更接近于自然图像。
通过损失函数L = perceptual loss + adversarial loss来优化生成器的参数θ。
目标函数
①先固定G,优化D
此时的目标就应该是,把G看成常数:
而它的损失函数就应该是:
优化目标就相当于是(max换成min,后面的公式加个负号):
②再固定D,优化G
此时D相当于常数,优化目标就可以简写为:
也就是使G(x)更趋近于真实和自然的图像。
此时利用前面的损失函数L = per loss + adv loss,通过最小化该损失函数来更新参数θ,使生成器G(x)能得到更趋近于真实和自然的图像。