编码器和GAN网络的概念

 

生成对抗模型：

思想来源于博弈理论的纳什均衡。

65 

 

https://www.bilibili.com/video/BV1Ff4y1m7mj/?spm_id_from=333.788.videocard.7

基本思想：

能够从有限的数据集中获得足够的训练样本，从而学习训练样本中的概率分布。

D:判别模型，目的：实现对数据来源的二分类。

G:生成模型

生成模型：

生成假数据，结合判别模型，最终达到生成以假乱真的数据。

优化器的损失函数使：假的数据接近0，真的数据接近1。

判别模型：

判别数据是真/假。

自编码器：

通过训练网络忽略信号中噪声的数据。通常用于降维和数据压缩、去噪。

特点：

1.只能用于压缩训练数据集相关的数据；

2.压缩的数据是有损压缩；

变分自动编码器：

 

KL  divergence & JS divergence用于自编码器和变分自编码器的理论推到；

从而过渡到GAN目标函数：

使得两种分布的差异性最小，自然生成的和原始分布非常接近。

优点：

缺点：

改进型GAN网络：

GAN网络训练麻烦：

1.数据集分布变化时，需要重新调整参数。

2.要小心平衡生成器和判别器的训练过程。

3.生成的样本缺乏多样性。

4.无法平衡这个生成器的好坏。

 

DC GAN:

依靠对生成器和判别器的结构进行枚举，最终选择一个比较好的网络设置，但没有从根本上解决问题。

 

DCGAN极大的提升了GAN训练的稳定性以及生成结果质量。

DCGAN能改进GAN训练稳定的原因主要有：

◆  使用卷积代替全连接层。

◆  生成器G和判别器D中几乎每一层都使用batchnorm层，将特征层的输出归一化到一起，加速了训练，提升了训练的稳定性。

◆  在判别器中使用leakrelu激活函数，而不是RELU，防止梯度稀疏，生成器中仍然采用relu，但是输出层采用tanh

◆  使用adam优化器训练

Wasserstein GAN:

解决了什么问题：（JS距离不好，换一个试试）

1.解决训练不稳定的问题，不需要设计参数去平衡生成器和判别器;

2.生成样本多样性；

3.

4.

WGAN主要从损失函数的角度对GAN做了改进，损失函数改进之后的WGAN即使在全链接层上也能得到很好的表现结果;

WGAN对GAN的改进主要有：

◆  判别器最后一层去掉sigmoid

◆  生成器和判别器的loss不取log

◆  对更新后的权重强制截断到一定范围内，以满足论文中提到的lipschitz连续性条件。

◆  论文中也推荐使用SGD， RMSprop等优化器，不要基于使用动量的优化算法，比如adam;