Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform

Abstract

1. 恢复自然和逼真的纹理仍然是一个具有挑战性的问题,可以忠实与语义类恢复图片纹理。
2. 我们仅需在基于语义分割概率图的单个网络中调制几个中间层的特征。这可以通过新颖的空间特征变换（SFT）层来实现，该层生成用于空间特征调制的仿射变换参数。
3. SFT层可以与具有相同损耗功能的SR网络一起端到端地进行训练。在测试期间，它接受任意大小的输入图像，并生成高分辨率图像，只有一个前向通道以分类先验为条件。我们的最终结果表明，与最先进的SRGAN [27]和EnhanceNet [38]相比，配备SFT的SR网络可以生成更逼真，视觉上更令人愉悦的纹理。

Instoduction

基于深度卷积神经网络的现代方法通过学习来自外部低分辨率和高分辨率范例对的映射函数来约束解空间。为了使解决方案更接近自然流形，提出了新的损失来代替传统的像素均方误差（MSE）损失，这往往会促使模糊和过度平滑的结果。

感知损失以优化特征空间中的超分辨率模型而不是像素空间。

对抗性损失，以鼓励网络支持看起来更像自然图像的解决方案。 利用这些损失功能，重建的整体视觉质量得到显着改善。

从两个低分辨率图像中提取的建筑物和植物斑块看起来非常相似。在没有事先的情况下使用对抗性损失和感知损失可能会添加不忠实于基础类的细节。使用正确的分类先验可以获得更真实的结果。

我们认为，表征图像中区域（例如，天空，建筑物，植物）的语义类的分类先验对于约束SR中的似是而非的解空间是至关重要的。我们使用图1中的相同示例证明了分类先验的有效性。具体来说，我们尝试使用两种不同的CNN模型恢复视觉上模糊的植物和建筑物对，每种模型都经过工厂数据集和建筑数据集的专门训练。据观察，通过选择正确的类专用模型，可以更好地实现忠实于固有类的逼真纹理。

网络结构

网络可分为生成和鉴别两部分。Gθ的体系结构如图3所示。它由两个流组成：条件网络和SR网络。条件网络将分割概率图作为输入，然后由四个卷积层处理。它生成所有SFT层共享的中间条件。为了避免一个图像中不同分类区域的干扰，我们通过对所有卷积层使用1×1个核来限制条件网络的感受域。SR网络由16个残余块构建，具有所提出的SFT层，其以共享条件作为输入并学习（γ，β）以通过应用仿射变换来调制特征图。跳过连接[27]用于简化深度CNN的训练。我们通过使用最近邻上采样后跟一个卷积层来上采样特征。上采样操作在网络的后半部分中执行，因此大多数计算在LR空间中完成。虽然我们还没有尝试过SR网络的其他架构，但我们相信DRRN [43]和MemNet [44]等许多现有模型都适用，并且同样可以从SFT层中受益。

对于鉴别器Dη，我们应用VGG式[40]跨步卷积网络来逐渐减小空间维度。鉴别器不仅可以区分输入是真的还是假的，还可以预测输入属于哪个类别。这是可能的，因为我们的训练图像被裁剪为仅包含一个类别。此限制未应用于测试图像。我们发现这种策略有助于生成具有更逼真纹理的图像。