论文笔记-MineGAN: effective knowledge transfer from GANs to target domains with few images

• 论文信息

  • 标题： MineGAN: effective knowledge transfer from GANs to target domains with few images
  • 作者：Yaxing Wang（yaxing@cvc.uab.es）, Abel Gonzalez-Garcia（agonzalez@cvc.uab.es）, David Berga（dberga@cvc.uab.es）, Luis Herranz（lherranz@cvc.uab.es）, Fahad Shahbaz Khan（joost@cvc.uab.es）, Joost van de Weijer（ fahad.khan@liu.se）
  • 机构：Computer Vision Center, Universitat Aut`onoma de Barcelona, Spain

• 代码链接

  • https:// github.com/yaxingwang/MineGAN

• 论文主要贡献

  • 引入新的挖掘网络用于探索预训练网络中的隐空间数据分布，用于指导预训练模型生成只有少量数据决定的目标数据分布
  • 第一次提出将多个GAN的知识迁移到一个单独的生成模型中
  • 实验结果显示，从非条件、条件、多GAN等条件的知识迁移都比现有的其他方法效果好

• 论文要点翻译

  • 摘要
    • DNN的特性之一：将一个domain学习的知识迁移到其他相关domain，因此有的domain虽然训练数据相对较少，但是依然可以训练得到高质量的网络，这个特性通常在判别网络中已经研究较多，但是生成网络中还没有研究得十分透彻
    • 由于GAN的训练对于计算资源和数据收集的要求都相对较高，因此，能对预训练的模型加以复用是一个很有价值的研究目标
    • 本文提出的迁移方法，基于对目标domain最有价值的数据表述的挖掘，以此进行生成模型的知识迁移
    • 本文方法主要通过一个挖掘网络实现，该网络识别每个预训练的GAN中对生成目标domain数据贡献最大的生成分布
    • 挖掘使得GAN的采样朝着隐空间中最适合的区域进行，使得后验调优更有实践可能性，并且避免了模式崩塌等问题
    • 实验结果证明MineGAN能够有效迁移学习到的知识
  • 引言
    • GAN可以学习到图像数据集中潜在的复杂的分布，可以用于生成高质量、真实性强的图像，在很多图像相关领域得以运用
    • 高质量的GAN通常需要大量的训练数据和训练时间，因此如果能够有效利用高质量的预训练GAN，能够从中提取得到预训练模型的数据分布，能够把这些GAN和其他模型组合调整得到目标domain的数据分布是很有价值的研究目标
    • 利用有限数据进行domain的知识迁移已经在判别式网络中得以研究，使得高质量网络得以有效复用，但是对于生成式模型的知识迁移的研究仍然没有得到太多关注，主要由于生成式模型的知识迁移难度较大。【33】利用预训练的生成式模型研究精调，并证明这个预训练网络可以促进少数据的心的domain，【25】提出这个可能引起的模式崩塌问题，认为应当减少模型的可训练参数，仅对BN的相关可学习参数进行调整
    • 本文通过调整预训练的生成式模型，解决知识迁移的问题，用于只有小数量目标样本的情况下的目标图像的生成。主要引入对GAN的挖掘的过程，即挖掘网络miner network，从多个预训练的GAN中将多变量的正态分布转换成预训练模型的输入空间的分布，使得生成的图像能有效组合目标domain中的知识。miner网络比预训练的GAN参数少得多，因而过拟合的问题出现的可能性较小，“挖掘”的步骤将对预训练的GAN进行挖掘，探索隐空间区域中的样本，找到跟目标domain更为接近的数据样本的特征空间，因此模型可以保留适应能力的同时避免过拟合
    • MineGAN可以有效从多个预训练GAN中迁移特征，能够同时利用多个源的信息进行聚合，生成与目标domain最接近的图像，网络通过选择性的后向传播过程进行训练
  • 相关工作
    • GAN的相关工作：典型的GAN的工作原理、为了解决GAN的模式崩塌问题和训练稳定性问题提出的一系列解决方案、为了生成更多更高质量的图像提出的渐进GAN、BigGan等方案
    • GAN的迁移学习：知识迁移在CV领域的判别式网络中取得的进展，但是生成模型中的知识迁移探索仍然是不足的。【33】研究了对预训练GAN的精调，使得模型可以用于改进少量样本的目标domain的性能，但是方法存在模式崩塌和过拟合的问题；【25】提出只更新模型中的BN参数，降低了模式崩塌的可能性，但是模型的性能受到了影响
      • 本文提出的MineGAN学习自动调整输入分布，考虑从多个预训练GAN中迁移知识到单个目标domain
    • 迭代图像生成
  • 方法
    • 条件假设：已经有一个或者多个预训练GAN，希望使用这些GAN中的知识训练小样本目标domain的GAN
    • $p_{data}(x)$ 表示真实数据集合$D$中的样本$x$的分布，$p_z(z)$表示输入噪声变量的先验分布，生成网络$G$根据噪声输入得到输出的生成分布$p_G(x)$尽可能与真实数据分布相似，生成网络的训练过程通过GAN中的G和D之间的博弈，当达到平衡时即可实现
    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wkQ5uKar-1596644565934)(C:\Users\Kingsley\AppData\Roaming\Typora\typora-user-images\image-20200727092042857.png)]
    • 目标：利用一个真实图像集合 $D_T$ 近似目标真实数据的分布 $p_{data}^T(x)$，利用源数据训练 $p_g(x)$ 拟合真实分布 $p_{data}(x)$，挖掘操作通过在 $p_g(x)$ 中寻找能够更好地近似目标数据分布 $p_{data}^T(x)$，以生成新的生成分布 $p_g^T(x)$，这个过程保持 G 固定
    • 为了找到这些区域，挖掘的过程实际上是找到一个新的先验分布 $p_z^T(z)$ 使得据此生成的样本 $G(z)$ 能够拟合接近目标数据分布 $p_{data}^T(x)$，实现过程中，提出了新的 GAN 组件：挖掘网络 M，由小的多层感知机组成，目标在于将原来的输入噪声 $u\sim p_z(u)$ 转换成新的更适合识别目标数据分布的先验变量
    • 方法的两个阶段：（1）MineGAN，使得 G 的隐空间能够找到目标分布的适合的区域；（2）更新 G 的权重
    • M 作为输入噪声和生成网络之间的接口，生成网络训练中保持固定，为了生成图像，首先在$p_z(u)$ 上采样噪声 $u$ ；然后通过 M 将噪声 u 转换成 G 的输入噪声，即得到 G(M(u))， 对抗训练使得生成图像和真图像不可分