3、GAN 架构

最新推荐文章于 2024-04-02 23:02:22 发布

C--G

最新推荐文章于 2024-04-02 23:02:22 发布

阅读量440

点赞数

分类专栏： # 生成对抗网络文章标签：生成对抗网络计算机视觉深度学习

本文链接：https://blog.csdn.net/weixin_50973728/article/details/125776804

版权

生成对抗网络专栏收录该内容

5 篇文章 0 订阅

订阅专栏

Multiscal GANS

论文链接: https://arxiv.org/abs/1903.06048v3

GANs在适应不同数据集方面异常困难, 部分原因是训练期间的不稳定以及对超参数的敏感性. 引起这种不稳定的一个普遍认为的原因是, 当真实和生成分布的支撑没有足够的重叠时, 从鉴别器到生成器的梯度将变得无用.。多尺度梯度生成对抗网络(MSG-GAN), 是一种简单但有效的技术, 通过允许从鉴别器到生成器的梯度流向多个尺度来解决此问题, 该技术为高分辨率图像合成提供了一种稳定的方法, 并且可以替代常用的渐进式生长技术. 实验表明 MSG-GAN 在各种大小, 分辨率和域以及各种类型的损失函数和体系结构的图像数据集上稳定收敛, 与最先进的 GAN 相比, 在大多数情况下都达到或超过了性能
在这里插入图片描述

在这里插入图片描述

左半部分是生成器, 右半部分是鉴别器. 在生成器中, 粉色的方块是特征图, 将特征图通过 1 × 1的卷积核来生成下面的图像, 将这些图像传递到鉴别器中对应尺度的位置, 按照下面定义的函数进行结合、
在这里插入图片描述
其中 X1是指从生成器得到的图像, 正如流程图所示, 这个图像也可以是对真实图像经过降采样得到的. r ′ 是 1 × 1的卷积操作. X2是指原本鉴别器中的特征图. 经过实验表明 ϕ simple生成样本质量要更好一些.

Progressive Growing GANs

在这里插入图片描述
在PG-GAN出来以前，训练高分辨率图像生成的GAN方法主要就是LAPGAN和BEGAN。后者主要是针对人脸的，生成的人脸逼真而不会是鬼脸。
生成鬼脸的原因是Discriminator不再更新，它不能再给予Generator其他指导，Generator找到了一种骗过Discriminator的方法，也就是生成鬼脸，而且很大可能会mode collapse。

作者采用progressive growing的训练方式，先训一个小分辨率的图像生成，训好了之后再逐步过渡到更高分辨率的图像。然后稳定训练当前分辨率，再逐步过渡到下一个更高的分辨率
在这里插入图片描述

上面展示的是Generator的growing阶段，更具体点来说，当处于fade in（或者说progressive growing）阶段的时候，上一分辨率(44)会通过resize+conv操作得到跟下一分辨率(88)同样大小的输出，然后两部分做加权，再通过to_rgb操作得到最终的输出。这样做的一个好处是它可以充分利用上个分辨率训练的结果，通过缓慢的过渡(w逐渐增大)，使得训练生成下一分辨率的网络更加稳定。
在这里插入图片描述

上图为Discriminator的growing，它跟Generator的类似，差别在于一个是上采样，一个是下采样

不难想象，网络在growing的时候，如果不引入progressive(fade in)，那么有可能因为比较差的初始化，导致原来训练的进度功亏一篑，模型不得不从新开始学习，如此一来就没有充分利用以前学习的成果，甚至还可能误导。我们知道GAN的训练不稳定，这样的突变有时候是致命的。所以fade in对训练的稳定性来说至关重要

说到growing的训练方式，我们很容易想到autoencoder也有一种类似的训练方式：先训各一层的encoder和decoder，训好了以后再过渡到训练各两层的encoder和decoder，这样的好处是避免梯度消失，导致离loss太远的层更新不够充分。PG-GAN的做法可以说是这种autoencoder训练方式在GAN训练上的应用