基于PatchGAN的生成对抗图像修复

1.介绍

对高分辨率图像的去模糊、去噪、修复等，对于现实的纹理合成的一个关键的问题是：如何保证真实性或者是自然性？，我们知道利用GAN的生成能力可以生成较为真实的图片，但是在面对高分辨的图片时，在保证图像的全局结构的一致性的情况下，需要更加关注图像的细节，而传统GAN的鉴别器通常只能够关注到全局的信息。

本文的主要改进点在于对鉴别器网络进行改进，整个鉴别器网络包括global GAN和 patch GAN.对于global GAN我们已经很熟悉了，主要就是鉴别器网络的输入是一张图片，而输出是一个标量，用来进行二分类的鉴别。这里来介绍一下patch GAN 的discriminator：

图1，PatchGAN 判别器，输出是一个矩阵，矩阵中的每个元素表示输入图像的一个局部区域，如果局部区域是真实的，我们会得到1，否则是0

patch GAN最早是用在图像风格迁移领域上的，与典型的GAN中的鉴别器相比，patch GAN的输出不在是一个标量，而是一个二维的矩阵，GAN的鉴别器用来判断这幅图片是合成的还是真实的，它考虑的是图像的全局，因此有可能忽略了图像的局部细节。而patchGAN的输出是二维的矩阵，每一个值代表着的是对图像的局部区域的判断，这样图像的局部纹理细节可以得到关注和增强。

本文采用Global GAN和patch GAN联合的鉴别器，称为PGGAN的鉴别器，在卷积网络的前面几层，二者共享同样的卷积层，然后引出两个分支分别是global GAN鉴别器和patch GAN鉴别器,具体结构可以看图2部分的鉴别器网络结构。

2.方案

图2，修复网络架构和鉴别器网络架构

1.采用 ResNet 网络作为修复网络的基础架构，同时在ResNet网络架构中引入了空洞卷积。

2.鉴别网络则是用上述提到的PGGAN的鉴别器。

2.1生成网络

这里主要用到了ResNet中的残差块的思想并进行了一些改动。网络先进行下采样再上采样，下采样用带步长的卷积来完成而不用池化层来做。下采样和上采样保持对称，因为修复网络的输出也是一张图像。我们知道感受野的尺寸对于纹理生成有至关重要的作用。空洞卷积不需要增加额外的参数就可以增大感受野，研究表明空洞卷积对纹理合成有一定的影响。本文在残差块中引入了空洞卷积，如下图所示：第一个是标准的残差块，第二个在normalizetion层前引入空洞卷积层，第三个在激活函数后面引入空洞卷积层。

2.2鉴别器网络

本文的鉴别器网络称为PGGAN鉴别器，是由global GAN和patch GAN的鉴别器组合成的，但是不是同时分来训练这个两个网络，而是在网络的前几层二者共享权重参数，这样能够保证它们都能学习到图像的低级视觉特征，在后面它们被分成两个网络，一个用来判断图像是真还是假，另一个则用来判断图像局部纹理的相似度。

3.损失函数

总损失包含三个部分：

3.1重建损失（L1）

比较合成部分的图像和真实图像之间的L1距离：
$$L_{rec}=\frac{1}{N}\sum _1^N\frac{1}{WHC}||y-x|{|}_1$$
N为样本数量，y为预测的像素，x为真实图片的像素，WHC分别为图像的宽高和通道数

3.2对抗损失

$$L_{GAN}(G,D)=E_{x-p(x)}[log(Dx)]+E_{y-PG(x^{\prime })}[log(1-D(G(x^{\prime })))]$$

该损失由PGGAN中的鉴别器D来计算，生成器和鉴别器同时最小化上述公式来被训练。x’是输入的破损图像。

3.3联合损失

$$L={\lambda }_1{L}_{rec}+{\lambda }_2{L}_{g-adv}+{\lambda }_3{L}_{p-adv}$$

4.贡献

• 将patchGAN和G-GAN结合起来，并共享前面几层的权重，后面再独立分来计算生成对抗损失，保证了图像局部的纹理信息和全局一致性
• 将空洞卷积和残差思想结合在一起形成端到端的修复网络，并可以应用在高分辨率的图像的修复上
• 通过实验分析了网络的各个组件对网络的影响

5.总结

1.将残差块和空洞卷积结合起来嵌入到修复网络中

以应用在高分辨率的图像的修复上

• 通过实验分析了网络的各个组件对网络的影响

5.总结

1.将残差块和空洞卷积结合起来嵌入到修复网络中

2.将Patch GAN判别器和传统的GAN的全局判别器结合起来，既考虑了局部纹理信息又保证了全局的一致性。

参考文献：

Patch-Based Image Inpainting with Generative Adversarial Networks