论文总结 | GAN

论文总结 | GAN

ICCV2019

Paper

Kernel

SinGAN: Learning a Generative Model from a Single Natural Image [paper] [code] (2019年的bestpaper)

Motivation: 1. Unconditional GANs 针对 class pecific 的数据集（如faces）取得成功，但建模具有多个类别、高度多样化的数据集（如ImageNet）的分布仍然是一项重大挑战。 2. 目前针对single image 的 GAN，大多是基于条件或某些特定任务（如超分辨），而非条件的GAN也只局限在纹理这样简单结构的图像生成任务中。 Contribution: 1. 能用一个简单统一的学习框架解决各种图像处理任务：paint-to-image, editing, harmonization, super-resolution, and animation。 2. 生成高质量结果，保存训练样本内部patch的关系。 3. 使用相同的生成网络即可完成所有任务，无需任何其他信息或超出原始训练样本的进一步训练。 金字塔式的coarse to fine网络 Method:目标是学习到一个非条件生成对抗模型，它能捕获输入的单张训练图像的内部数据关系（internal statistics）。为此提出了层级的patch-GANs模型(Markovian discriminator)，训练由下向上。最底层由噪声$Z_N$输入到$G_N$的得到${\tilde{x}}_N$，接着利用生成图像的patch ${\tilde{x}}_N$和当前层的patch $x_N$（由训练数据下采样得到）放入判别器$D_N$。通过这种一层一层、由下往上的训练过程，每一层由下一层的生成结果${\tilde{x}}_{n+1}$上采样，与$z_n$cat一起送入$G_n$，得到${\tilde{x}}_n$，经过$D$，得到最终的结果。$G$和$D$结构相同。SinGAN在其他图像生成任务中的应用，可以看下论文实验部分。

参考博客：
https://blog.csdn.net/dqcfkyqdxym3f8rb0/article/details/102927036