[TensorFlow]生成对抗网络(GAN)介绍与实践

最新推荐文章于 2024-06-15 16:10:18 发布
最新推荐文章于 2024-06-15 16:10:18 发布
阅读量828 收藏 3
点赞数 1
分类专栏： 机器学习

主旨

本文简要介绍了生成对抗网络(GAN)的原理，接下来通过tensorflow开发程序实现生成对抗网络(GAN)，并且通过实现的GAN完成对等差数列的生成和识别。通过对设计思路和实现方案的介绍，本文可以辅助读者理解GAN的工作原理，并掌握实现方法。有了这样的基础，在面对工作中实际问题时可以将GAN纳入考虑，选择最合适的算法。

代码和运行环境

代码位置： 
wangyaobupt/GAN

TensorFlow版本

>>> tf.version 
‘1.1.0-rc2’

背景知识

Generative Adversarial Nets[1][https://arxiv.org/pdf/1406.2661v1.pdf]是Ian J. Goodfellow等在2014年提出的一种训练模型的方法，此方法通过两个网络(生成网络G和分类网络D）对抗训练，得到符合预期目标的生成模型和分类模型。

要理解GAN的原理，上述论文是最好的教材。但考虑到原文首先是英文撰写，其次包含不少数学推导，新手上手并不容易。因此笔者这里班门弄斧，基于论文简单转述GAN的设计思想要点

GAN的目标，给定一个真实样本(本文也称之为ground truth)集合，训练出两个模型，一个能够从噪声信号生成尽可能像ground truth的样本；另一个能够判断给定样本是否是ground truth。两个模型详细介绍如下

  • 生成模型：论文中称为generative model，本文称为G网络或G模型。G网络的输入是噪声信号（例如均匀分布的随机数），输出为形状与真实样本ground truth一致。G网络的训练目标是，尽可能输出与ground truth相似的样本。这里“相似”定义为：如果G网络生成的一个样本骗过了D网络，使得D网络误以为这就是真实样本，则就是相似的，G网络获得奖励；反之，获得惩罚。
  • 分类模型：论文中称为discriminative model，本文称为D网络或D模型。D网络是一个2分类器，输入为ground truth或者G网络生成的样本，输出为TRUE或FALSE：TRUE表示D网络认为当前输入样本是ground truth，FALSE表示D网络认为当前输入样本是G网络生成的“伪造”样本。D网络的训练目标是尽可能正确的区分开ground truth和G网络生成的“伪造”样本。

从上述讨论可以看出，G网络和D网络是两个目标完全相反的网络，G网络尽其所能“伪造”出像真实样本的数据，D网络尽可能区分真实与伪造数据。GAN中所谓“对抗”的概念，即来源于此。

GAN的训练过程就是G和D两个网络互相对抗的过程，对抗的结果是G网络被训练到能够生成以假乱真的样本，即G网络从噪声输入得到了尽可能与真实样本相似的输出，或者说G学会了从噪声生成ground truth的方法；D网络也可以区分ground truth与其他样本，即D学会了区分ground truth与其他数据的方法。

参考文献 
1. Goodfellow I J, Pougetabadie J, Mirza M, et al. Generative adversarial nets[C]. neural information processing systems, 2014: 2672-2680.

神经网络设计和实现

问题构造

在开始设计神经网络之前，我们首先构造出预期GAN解决的问题。前述GAN论文中提出了一个从噪声学习正态分布的经典问题，读者如果在网络上搜索GAN的案例，除了图像识别，基本上只有这么一个问题和方案实现。

本文重新设计了一个与论文中不同的问题。问题描述如下

  • Ground Truth定义：[1,2,3,4,5,6,7,8,9,10]构成的等差数列，为了适当降低学习难度，此数列每个元素与噪声相加，噪声为0均值正态分布随机变量，标准差取0.1, 0.03, 0等不同数值
  • 输入噪声定义： [-1,1]之间均匀分布的随机变量。

网络结构设计

G网络：参考论文资料，我们选择多层全连接神经网络

D网络：由于要分辨的是等差数列，我们选择RNN作为D网络。

网络结构如下（下图是tensorboard生成的计算图）：图中”G_net”表示G网络，”D_net”/”D_net_1”表示D网络，虽然图中D网络被分成了两份，但是其RNN参数是共享的，即图中正下方”rnn”这个单元。


代码实现

G网络定义

   # generative network
    # use multi-layer percepton to generate time sequence from random noise
    # input tensor must be in shape of (batch_size, self.seq_len)
    def generator(self, inputTensor):
        with tf.name_scope('G_net'):
            gInputTensor = tf.identity(inputTensor, name='input')
            # Multilayer percepton implementation
            numNodesInEachLayer = 10
            numLayers = 3 

            previous_output_tensor = gInputTensor
            for layerIdx in range(numLayers):
                activation,z = self.fullConnectedLayer(previous_output_tensor, numNodesInEachLayer, layerIdx)
                previous_output_tensor = activation

            g_logit = z
            g_logit = tf.identity(g_logit, 'g_logit')
            return g_logit

G网络损失函数 
下面代码片段中self.d_logit_fake是D网络对G网络生成数据的判定结果。由于G网络的目标是尽可能骗过D网路，如果D网络对于G网络生成数据全部判为1(即TRUE)，则损失最小，反之，损失最大。

g_loss_d = tf.reduce_mean(
                tf.nn.sigmoid_cross_entropy_with_logits(
                    logits=self.d_logit_fake,
                    labels=tf.ones(shape=[self.batch_size_t,1])
                    ),
                name='g_loss_d'
                )

D网络的定义 
RNN+全连接输出层，无论是RNN还是全连接层都必须在对ground truth和G生成样本之间共享同一套参数

def discriminator(self, inputTensor,reuseParam):
        with tf.name_scope('D_net'):
            num_units_in_LSTMCell = 10

            # RNN definition
            with tf.variable_scope('d_rnn'):
                lstmCell = tf.contrib.rnn.BasicLSTMCell(num_units_in_LSTMCell,reuse=reuseParam)
                init_state = lstmCell.zero_state(self.batch_size_t, dtype=tf.float32)
                raw_output, final_state = tf.nn.dynamic_rnn(lstmCell, inputTensor, initial_state=init_state)

            rnn_output_list = tf.unstack(tf.transpose(raw_output, [1, 0, 2]), name='outList')
            rnn_output_tensor = rnn_output_list[-1];

            # Full connected network
            numberOfInputDims = inputTensor.shape[1].value
            numOfNodesInLayer = 1
            if not reuseParam:
                self.d_w = tf.Variable(initial_value=tf.random_normal([numberOfInputDims, numOfNodesInLayer]),
                        name=('dnet_w_1'))
                self.d_b = tf.Variable(tf.zeros([1, numOfNodesInLayer]), name='dnet_b_1')
            self.d_z = tf.matmul(rnn_output_tensor,self.d_w) + self.d_b
            self.d_z = tf.identity(self.d_z, name='dnet_z_1')
            d_sigmoid = tf.nn.sigmoid(self.d_z, name='dnet_a_1')

            d_logit = self.d_z
            d_logit = tf.identity(d_logit, 'd_net_logit')
            return d_logit

D网络损失函数 
D网络使用同一套参数分辨两种输入，一种是ground truth，另一种是G网络的输出。对于ground truth，训练目标为尽可能判为1，对于G网络的输出，训练目标为尽可能判为0，因此Loss函数定义如下

# For D-network, jduge ground truth to TRUE, jduge G-network output to FALSE,making loss low
            d_loss_ground_truth = tf.reduce_mean(
                tf.nn.sigmoid_cross_entropy_with_logits(
                    logits=self.d_logit_gnd_truth,
                    labels=tf.ones(shape=[self.batch_size_t,1])
                    ),
                name='d_loss_gnd'
                )

            d_loss_fake = tf.reduce_mean(
                tf.nn.sigmoid_cross_entropy_with_logits(
                    logits=self.d_logit_fake,
                    labels=tf.zeros(shape=[self.batch_size_t,1])
                    ),
                name='d_loss_fake'
                )

            d_loss = d_loss_ground_truth + d_loss_fake

对抗训练 
对抗训练中，G网络Loss值只用来调整G网络参数，D网络Loss值只用来调整D网络参数

       g_net_var_list = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='G_net')
        g_net_var_list = g_net_var_list +  tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='g_rnn')
        self.train_g = tf.train.AdamOptimizer(self.lr_g).minimize(g_loss,var_list=g_net_var_list)

        d_net_var_list = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='D_net')
        d_net_var_list = d_net_var_list +  tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='d_rnn')
        self.train_d = tf.train.AdamOptimizer(self.lr_d).minimize(d_loss,var_list=d_net_var_list)

训练效果

下图是训练过程中D网络对ground truth和G网络输出的分类正确率曲线 

从图中可以看到3个阶段

  1. 训练开始后一秒左右：“D网络对ground truth的分类正确率”和“D网络对G网络输出的分类正确率”都快速上升到100%，即D网络经过训练可以完全正确的将真的判为真，假的判为假
  2. 训练后1-15s：D网络分类正确率保持全对
  3. 15s之后：“D网络对ground truth的分类正确率”和“D网络对G网络输出的分类正确率”出现震荡，表明在这个阶段G网络已经能够以假乱真，D网络将部分G网络输出判为真，同时也将部分ground truth判为假。

上述3个阶段就体现出对抗训练的特点，G网络和D网络互为对手，互相提高对方的训练难度，最终得到符合预期的模型。

接下来再从数据上给一个直观的认识

Ground truth: 在公差为1的等差数列上加入stddev=0.3， mean=0的正态分布噪声后，得到的一组Ground Truth数据如下

[ 1.1539436 ] 
[ 2.08863655] 
[ 2.78491645] 
[ 3.93027817] 
[ 4.75851967] 
[ 5.88655699] 
[ 7.10540526] 
[ 7.43159023] 
[ 9.19373617] 
[ 10.08779359]

训练开始前G网络的数据

基本无规律，和输入噪声分布接近

[ 1.15080559] 
[ 0.66351247] 
[-0.39484465] 
[-0.41690648] 
[ 0.29061955] 
[ 0.06131642] 
[-2.46439648] 
[-1.53692639] 
[-0.30550677] 
[-0.89200932]

迭代100次之后G网络的输出 
出现等差数列的端倪

[ -0.53692651] 
[ 0.86063552] 
[ 2.47294378] 
[ 5.24512053] 
[ 7.7618413 ] 
[ 9.57867622] 
[ 9.15039253] 
[ 9.86567402] 
[ 10.62975025] 
[ 10.24322414]

迭代500次之后G网络的输出 
除了最后一个元素，前9个元素已经基本符合预期

[ 1.09549832] 
[ 2.21490908] 
[ 2.95311546] 
[ 4.06684017] 
[ 4.96308947] 
[ 6.03393888] 
[ 6.89026165] 
[ 7.93375683] 
[ 8.63552094] 
[ 9.07077026]

迭代1500次之后G网络的输出 
已经足以以假乱真

[ 0.07186054] 
[ 1.08289695] 
[ 2.55904818] 
[ 4.07374573] 
[ 5.14763832] 
[ 6.07010031] 
[ 6.79585028] 
[ 8.17086124] 
[ 8.81297684] 
[ 10.38190079]

更多资料

本文首发于：王尧的技术博客。博客中的内容体系性不如在知乎整理的清楚，但会随时记录工作中的技术问题和发现，如有兴趣欢迎围观。

生成对抗网络（GAN） 深度学习（Deep Learning） 机器学习
yanhx1204
关注
专栏目录
tensorflow之学习GAN生成对抗网络
weixin_46398446的博客
10-23 1045
目录前言一、GAN原理二、应用领域开始代码学习1.导入相关库及整理数据集2.建立生成器，辨别器模型3.生成器和判别器的不同损失4.定义优化器5.开始训练 前言 一、GAN原理 GAN主要包括两部分，生成器generator和判别器discriminator。 生成器：用于学习真实图像分布进而让自身生成的图像更加真实，得以骗过判别器。 判别器：对接受的图片进行真假判别。 我们可以看到，右侧蓝色框出的区域，其实就是CNN神经网络，通过卷积全连接对图片进行判别，是图片or不是图片。 我们再看左侧，下方绿
利用tensorflow训练简单的生成对抗网络GAN
afvko8191的博客
04-30 381
对抗网络是14年Goodfellow Ian在论文Generative Adversarial Nets中提出来的。 原理方面，对抗网络可以简单归纳为一个生成器(generator)和一个判断器(discriminator)之间博弈的过程。整个网络训练的过程中， 两个模块的分工 判断网络，直观来看就是一个简单的神经网络结构，输入就是一副图像，输出就是一个概率值，用于判断真假使用（...
Tensorflow搭建GAN网络
qq_15751687的博客
09-19 1425
  生成对抗网络(GANs)是深度学习研究和开发中最活跃的领域之一，因为它们具有不可思议的生成合成结果的能力。在这个博客中，我们将通过一个具体的例子来构建基础的GANs。   GANs是深度学习研究和开发最活跃的领域，因为它们具有不可思议的生成合成结果的能力。在这篇文章中，我们将会搭建一个简单的GANs。接下来会从以下几个方面进行讲解： GAN工作的基本思想 实现一个基于GAN模型，从一个简单的分布中产生数据 可视化和分析GAN的不同方面，以更好地理解幕后发生的事情。 生成对抗网络（GAN）   GAN
GAN网络的tensorflow实现
07-13
GAN的tensorflow简单实现，在MNIST和SVHN数据集的生成样本，适合GAN的入门，代码解释也非常详细，希望对大家有所帮助。
tensorflow生成对抗网络
Gone_HuiLin的博客
10-22 370
import tensorflow as tf import numpy as np import os from tensorflow.examples.tutorials.mnist import input_data from matplotlib import pyplot as plt BATCH_SIZE = 64 UNITS_SIZE = 128 LEARNING_RATE = ...
GAN-minist-tensorflow-master.zip_GaN_tensorflow_对抗生成网络_对抗网络_生成对抗
07-14
在深度学习领域，生成对抗网络（Generative Adversarial Networks，简称GANs）是一个非常重要的概念，由Ian Goodfellow等人在2014年提出。GANs通过两个神经网络模型——生成器（Generator）和判别器（Discriminator...
GAN生成对抗网络入门与实战（新增Tensorflow2.0代码实现）
08-23
### GAN生成对抗网络入门与实战（新增Tensorflow2.0代码实现） #### GAN简介 生成对抗网络（Generative Adversarial Networks，简称GAN）是由Ian Goodfellow等人于2014年提出的一种深度学习模型。GAN的核心思想是...
人工智能-项目实践-生成对抗网络-在 PyTorch 和 Tensorflow 中实现的多生成对抗网络 (GAN)
03-19
"人工智能-项目实践-生成对抗网络-在 PyTorch 和 Tensorflow 中实现的多生成对抗网络 (GAN)" 这个标题表明这是一个关于人工智能领域的实践项目，特别聚焦于生成对抗网络（Generative Adversarial Networks，简称GANs...
深度卷积生成对抗网络TensorFlow代码实现
12-25
Tensorflow implementation of [Deep Convolutional Generative Adversarial Networks](http://arxiv.org/abs/1511.06434) which is a stabilize Generative Adversarial Networks.
GAN介绍
xinming_365的博客
05-20 3987
GAN(Generative Adversarial Network) GAN中存在两个网络，分别是生成器G（Generator）和判别器D（Discriminator）。 找到一个Generator，使得判别器D不能分开真实的和生成的数据。 生成器网络在训练过程中，生成网络尽量生成真实的图片去欺骗判别器D。判别器D尽量把生成器G生成的图片和真实的图片区分开。G和D构成一个动态的博弈过程。 找到一...
GAN生成指定概率的mnist
Jak的博客
08-01 542
import tensorflow as tf import numpy as np import pickle import matplotlib.pyplot as plt import scipy.misc import os from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read...
介绍GAN
xq13872146694的博客
02-20 1090
Discriminative vs. Generative models 鉴别器 和 生成模型 Before looking at GANs, let’s briefly review the difference between generative and discriminative models: A discriminative model learns a functi
GAN 简介
steven_ysh的博客
12-16 4254
GAN 原理： ​GAN 的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是通过生成网络 G（Generator）和判别网络 D（Discriminator）不断博弈，进而使 G 学习到数据的分布，如果用到图片生成上，则训练完成后，G 可以从一段随机数中生成逼真的图像。 G 是一个生成网络，其输入为一个随机噪音，在训练中捕获真实数据的分布，从而生成尽可能真实的数据并让 D 犯错 D 是一个判别网络，判别生成的数据是不是“真实的”。它的输入参数是 x，输出 D(x) 代表 x 为真
GAN 简介（一）
weixin_40733801的博客
05-29 1552
生成性对抗网络（GAN）是一种机器学习技术，通过两个神经网络之间的类似游戏竞争来动态学习生成与来自给定训练数据集（例如，手写数字的图像）的实际数据无法区分的假实例。 这两个网络被称为“Generator”和“Discriminator”。Generator的目标是生成与训练数据集无法区分的数据。Discriminator的目标是正确地确定特定示例是真实的（即来自训...
（6-1）TensorFlow生成式对抗网络实战： 生成对抗网络介绍
最新发布
码农三叔
06-15 892
GAN是Ian Goodfellow提出的使用对抗过程来获得生成模型的新框架，生成对抗网络主要由两个部分组成，一个是生成模型（Generative Model），另一个是判别模型（Discriminative Model）。
生成对抗网络tensorflow实现
spiderA的专栏
11-01 1623
GAN网络结构 生成对抗式网络由两个子网络组成，生成网络(Generator，G)和判别网络(Discriminator， D)。 生成网络G用于生成样本，我们希望生成的样本与真实的样本越接近越好。判别网络D是一个二分类模型，用于区分样本的是真样本还是假样本(生成器生成的样本),我们希望判别器能够很好的区别样本的真假。 生成器类似自编码器中的解码部分，将隐变量还原成样本数据，这里的隐变量是一个随机噪声，即生成器的输入是随机噪声，输出是样本数据。如何输出期望的样本，是通过网络训练让生成器去学习期望样本的分布。
生成对抗网络（GAN）与其变种（DCGAN）的实现——基于tensorflow
qq_44725872的博客
07-06 935
生成对抗网络（GAN）与其变种（DCGAN）的实现——基于tensorflow前言概念——GANGAN变种——DCGAN训练过程代码实现GANDCGAN结果展示总结 前言 要理解什么是生成对抗网络，先解释一下有监督学习以及无监督学习： 有监督学习：基于大量带有标签的训练集与测试集的机器学习过程，比如图片分类器需要一系列图片和对应的标签（“猫”，“狗”…）。MNIST手写数字集就是一堆带有标签的训练集与测试集的数据集。 无监督学习：根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题。这就是无监督学习
深度学习入门：GAN基础与实战Tensorflow代码
《Learning GAN pdf》是一本深入讲解生成对抗网络（GAN）的电子书，以深度学习的发展历史为起点，特别强调了TensorFlow编程的应用。该书全面介绍了GAN的基础概念和实际操作，适合初学者和对人工智能、生成模型有兴趣...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值