Fourier Space Losses for Efficient Perceptual Image Super-Resolution

---

前言

本文来自2021的ICCV，其创新点主要是将傅里叶系数应用到损失函数上。

图像超分辨率的目的是从相应的低分辨率（low-resolution，LR）输入构建高分辨率（high-resolution，HR）图像。

一、摘要

作者指出：
1.图像在超分辨率任务中，其中的高频信息难以被恢复
2.现在的SR网络参数量过大，网络太深，效率不高，不便于部署到移动设备上

现在解决这种性能和效率的方法主要有三种：1）确定任务的最佳架构设计；2）设计更好的优化损失，用于更好利用网络性能；3）数据的数量和质量对最大化性能起着关键作用。本文主要基于第二种方法改进。

感知损失的设计还是集中在空间域中。但是，超分主要还是在下采样过程中，丢失了频谱空间的高频信息。因此，本文提出了一种用于频域的损失函数。

二、创新点

1.提出了一种用于频域的损失函数，用于复原图像的高频信息

用复杂正交基函数，获得对应的频率成分 {x}u,v：

对图像每个通道进行傅里叶变换。每个复杂成分 {x}u,v 可以分解为振幅和相位：

SR处理的问题是生成缺失的频率，即从低频到高频的探索。与空间域相比，可以在频域上清晰地分离特定的频率。此外，傅里叶成分能够提供图像的全局信息。基于此，设计相应的损失函数。

本文所用损失：

监督损失：

1.空间域损失

1.L1监督损失：

2.VGG损失（VGG54）：

2.频域损失

首先，将真实图像和生成图像经过Hann window预处理。
接着，计算傅里叶频域损失函数，包括L1范数度量的频谱差异，以及相位角差异。

最后，将上述损失函数，直接用于傅里叶空间。

2.为频域损失设计一个新的判别器

由于傅里叶变换造成的空间不变性假设的失效，本文不使用卷积层，而采用全连接层

3.整体的损失包括以下三个部分： 空间域和频域的监督损失，以及GAN损失，还有VGG损失

实验

训练集：DIV2K、Flickr2K
测试集：Urban100

1.对比实验

2.消融实验

总结

这篇文章第一个成功地将基于GAN的损失直接应用于SR的傅里叶成分，生成器主干的运行时间可以减少到只有41ms，比ESRGAN快13倍以上，比GPU上的SRFlow快48倍。