SR综述--Loss function

损失函数

（1） pixel loss

包括L1 loss和L2 loss

• 像素损失限制了生成的HR图像在像素值上与ground truth HR图像足够接近。与L1损失相比，L2损失对较大的误差不利，但对较小的误差有较大的容忍度。
• 在实践中，L1损失相对于L2损失有更好的收敛性和更好的性能表现。
• 然而，由于像素损失实际上并没有考虑到图像质量(如感知质量，纹理)，因此它常常缺乏高频细节，并且对于过于平滑的纹理会产生感知上不满意的结果。

（2）content loss

为了在感知质量的基础上评价图像质量，在超分辨率中引入了内容损失；
他利用一个预训练好的图像分类网络，提取HR和SR的特征，然后对提取到的特征求损失。（其实就是将分类网络提取到的特征作为图像的纹理信息）

文章：
（1）Perceptual losses for realtime style transfer and super-resolution；
（2）Generating images with perceptual similarity metrics based on deep networks；
（3）Enhancenet: Single image super-resolution through automated texture synthesis；
（4）Super-fan: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with gans；
（5）Recovering realistic texture in image super-resolution by deep spatial feature transform；
（6）Esrgan: Enhanced super-resolution generative adversarial networks；

（3）texture loss

由于重建后的图像应该与目标图像具有相同的风格(如颜色、纹理、对比度)，受到Gatys等人[124]、[125]的风格表征的激励，将纹理损失(即style重建损失)引入到超分辨率中。

从上面公式可以看出，一幅图片的纹理就是不同通道的特征图转化为向量之后构成的Gram矩阵，然后对HR和SR的Gram矩阵计算损失。
通过使用纹理损失，SR模型可以创建真实的纹理，并产生更令人满意的视觉效果
[10]。尽管如此，确定patch的大小以匹配纹理仍然是靠经验决定。因为纹理统计数据是在不同纹理区域的平均值，所以太小的patch会导致纹理区域中存在的伪影，而太大的patch会导致整个图像中存在伪影。
文章：
（1）Enhancenet: Single image super-resolution through automated texture synthesis. in ICCV, 2017.

（3）adversarial loss(对抗损失)

GAN：
近年来，GANs越来越受欢迎，并被引入到各种视觉任务中。具体来说，GAN由一个执行生成(如文本生成、图像转换)的生成器和一个判别器组成，判别器将生成的输出和从目标分布中采样的实例作为输入，并识别每个输入是否来自目标分布。在训练过程中，交替执行两个步骤:(a)固定生成器并训练判别器更好地识别，(b)固定判别器并训练生成器欺骗判别器。通过迭代对抗性训练，在模型最终收敛后，生成的生成器可以产生与真实数据分布一致的输出，而判别器不能区分生成的数据与真实数据。
在超分辨率领域，采用对抗性学习是很简单的，在这种情况下，我们只需要将SR模型作为一个生成器，另外定义一个鉴别器来判断输入图像是否生成。Ledig等人首先利用基于交叉熵的对抗损失引入SRGAN，如下:
Wang等人[34]（A fully progressive approach to single-image super-resolution）和Yuan等人[126]（Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks,）利用基于最小平方误差的对抗损失，使训练过程更加稳定，训练结果质量更高[127]（Least squares generative adversarial networks），分别给出:

Bulat等[128]（To learn image superresolution, use a gan to learn how to do image degradation first）采用合页对抗性损失[129]（Spectral normalization for generative adversarial networks）,如下所示:

（4）Total Variation Loss

为了抑制生成图像中的噪声，Aly等（Image up-sampling using totalvariation regularization with a new observation model）将总变差(TV)损失[135]引入到SR领域。它被定义为相邻像素之间的绝对差值与图像中噪声大小的总和。