Copy and Paste GAN: Face Hallucination from Shaded Thumbnails

题目：复制和粘贴GAN：来自着色缩略图的面部幻觉

1、引言

主要思想
现有的基于卷积神经网络(CNN)的人脸超分方法在正常光照条件下的低分辨率人脸上取得了令人印象深刻的效果。然而，当在低照度或非均匀光照条件下捕捉LR脸时，它们的性能会显著降低。因此提出了一种复制粘贴生成对抗性网络(CPGAN)来恢复真实的高分辨率人脸图像，同时补偿低照度和不均匀光照的方法。为此，我们在CPGAN中开发了两个关键组件：内部和外部复制粘贴网络(CPnet)。具体地说，我们的内部CPnet利用驻留在输入图像中的面部信息来增强面部细节；而我们的外部CPnet利用外部HR面部进行照明补偿。因此，开发了一种新的照明补偿损耗，以有效地从外部引导的人脸图像中捕获照明。此外，我们的方法以从粗到细的方式交替地偏移光照和对面部细节进行上采样，从而缓解了LR输入和外部HR输入之间的对应模糊性。大量实验表明，该方法在均匀光照条件下显示了真实的HR人脸图像，并且在定性和定量上都优于最先进的方法。

本文贡献
1、提出了第一个端到端的解决人脸幻觉和光照补偿问题的CPGAN框架，该框架在传统的人脸幻觉损失和新的光照补偿损失的基础上进行了优化。
2、引入内部CPnet对人脸细节进行增强，粗略归一化光照，辅助后续的上采样和光照补偿。
3、提出了一种外部CPnet，通过从外部HR人脸学习光照来进行光照补偿。通过这种方式，我们能够明确地学习光照，而不需要具有相同光照条件的数据集。
4、提出了一种新的数据增强方法–随机自适应实例归一化(RAIN)，以生成足够的NI-LR（不均匀低分辨率）和UI-HR（均匀高分辨率）人脸图像对。

背景：现有的基于卷积神经网络(CNN)的人脸超分方法在低照度或非均匀光照条件下捕捉LR脸时，它们的性能会显著降低。
方法：提出了一种复制粘贴生成对抗性网络(CPGAN)包含两个关键组件：内部CPnet利用驻留在输入图像中的面部信息来增强面部细节；外部CPnet利用外部HR面部进行照明补偿。
结论：大量实验表明，该方法在均匀光照条件下显示了真实的HR人脸图像，并且在定性和定量上都优于最先进的方法。

Motivation of CPGAN。引入内部和外部CPnet以模拟克隆戳记工具。内部CPnet复制良好的细节，将其粘贴到阴影区域。外部CPnet在上采样过程期间使用来自UI-HR脸部数据集的外部引导脸部进一步修饰脸部，以补偿最终HR脸部中的不均匀照明。

2、网络结构

为了减少光照不均匀造成的NI-LR到UI-HR映射的模糊性，我们提出了一种CPGAN框架，该框架以NI-LR人脸作为输入，以光照正常的外部HR人脸为引导，实现对UI-HR人脸的幻觉。在CPGAN中，我们开发了复制粘贴网络(CPnet)，根据输入图像的语义空间分布，灵活地对均匀光照特征进行“复制”和“粘贴”，从而对输入图像的光照进行补偿。采用鉴别器强制生成的UI-HR人脸位于真实人脸图像的流形上。整个网络结构如图1所示。
CPGAN由以下组件组成：内部CPnet、外部CPnet、空间变压器网络(STNS)、反卷积层、堆叠式沙漏模块和鉴别器网络。

图1 建议的CPGAN框架。紫色块中的上、下对称层共享相同的权重。

输入的NI-LR图像首先通过内部CPnet来增强面部细节，并通过利用阴影面部信息来粗略地归一化光照。然后，外部CPnet在上采样过程中求助于外部引导的UI-HR脸以进行进一步的照明补偿。由于输入图像可能会发生错位，如平面内旋转、平移和比例变化，我们使用STNs来补偿错位，如图1中的黄色方块所示。同时，我们采用堆叠沙漏网络来估计重要的人脸标志性热图以保持人脸结构。
图2显示了内部CPnet的体系结构，它由输入卷积层、内部复制模块、粘贴模块以及跳过连接组成。内部复制模块首先采用了残差块和通道注意(CA)模块来增强高频特征。然后，引入我们的复制模块(图3(b))来“复制”所需的内部均匀照明特征以进行粗略补偿。内部复制模块的功能类似于将高频特征“复制”到低频部分的操作。

图2 内部CPnet的架构。本文将通道注意模块的输出特征作为输入特征和引导特征。这里的粘贴块表示加法运算。

外部CPnet的网络如图3(a)所示，其核心组件是复制和粘贴块。图3(b)执行复制块的“复制”过程。引导特征FG和输入特征FCARE分别从外部引导UI-HR图像和输入NI-LR图像中提取。复制块可以灵活地将引导特征的照明图案整合到输入特征中。基于复制和粘贴模块，我们提出的外部CPnet从外部UI-HR人脸显式地学习光照模式。

图3 外部CPnet的体系结构。这里的外部复制模块由一个复制块组成。粘贴块表示加法运算。

3、损失函数

为了训练我们的CPGAN框架，我们提出了光照补偿损失(LIC)和强度相似性损失(LMSE)、同一性相似性损失(LID)、结构相似性损失(LH)和对抗性损失(LADV)。总损失函数LG是上述各项的加权和。

光照补偿损失：CPGAN不仅恢复了UI-HR人脸图像，而且对光照不均匀进行了补偿。提出照明补偿损其基本思想是在潜在子空间中约束重建的UI-HR人脸的光照特性与引导的UI-HR人脸接近。

4、实验结果

将对提议的框架进行定性和定量的评估。主要在以下三个场景中进行比较：

• FH：面部超分方法(SRGAN，TDAE，FHC)；
• IN+FH：光照补偿技术(CycleGAN)+人脸幻觉方法(SRGAN，TDAE，FHC)(使用双三次插值程序调整输入大小)；
• FH+IN：面部幻觉方法(SRGAN，TDAE，FHC)+光照补偿技术(CycleGAN)。

与最新方法的比较

给出了与基准方法的定性比较，这证明了CPGAN比竞争方法更好的性能。显然，CPGAN获得的图像更真实，保留了身份，具有更丰富的面部细节。

与最先进的方法进行比较。(a)未对齐的NI-LR输入。(b)双三次插值+CycleGan。©SRGAN。(d)TDAE。(e)FHC。(f)CycleGan+SRGAN。(g)TDAE+CycleGan。(h)文中的。(i)GT。前三列：测试来自Multi-PIE数据集的样本(室内)。最后三列：测试来自CelebA数据集的样本(在自然环境下)。

在测试数据集上比较方法的平均PSNR[dB]和SSIM值

消融分析

没有内部CPNet的结果遭受严重的失真和模糊，没有外部CPNet，重建的面部严重偏离GT外观。

消融分析。 （a）16×16 NI-LR图像。 （b）128×128 GT图像。 （c）使用简单的输入卷积图层而不使用内部CPnet的结果。 （d）导致不使用外部CPnets，直接连接输入和输出功能。 （e）结果而不使用身份相似性损失（L_id）。 （f）结果而不使用结构相似性损失（L_h）。 （g）结果而不使用对抗性损失（L_adv）。 （h）CPGAN结果。