ACGAN

最新推荐文章于 2024-04-19 17:09:37 发布
最新推荐文章于 2024-04-19 17:09:37 发布
阅读量2.9k 收藏 11
点赞数 2
分类专栏： GAN

转处：https://zhuanlan.zhihu.com/p/64034844

前言

ODOG,顾名思义就我我希望能每天抽出一个小时的时间来讲讲到目前为止,GAN的前沿发展和研究,笔者观察了很多深度学习的应用,特别是在图像这一方面,GAN已经在扮演着越来越重要的角色,我们经常可以看到老黄的NVIDIA做了各种各样的application,而且其中涉及到了大量GAN的理论及其实现,再者笔者个人也觉得目前国内缺少GAN在pytorch,keras,tensorflow等主流的框架下的实现教学.

我的老师曾经对我说过:"深度学习是一块未知的新大陆,它是一个大的黑箱系统,而GAN则是黑箱中的黑箱,谁要是能打开这个盒子,将会引领一个新的时代"

ACGAN

ACGAN的全称叫Auxiliary Classifier Generative Adversarial Network,翻译成汉语的意思就是带辅助分类器的GAN,其实他的思想和昨天说到的CGAN很想,也是利用label的信息作为噪声的输入的条件概率,但是相比较于CGAN,ACGAN在设计上更为巧妙,他很好地利用了判别器使得不但可以判别真假,也可以判别类别,通过对生成图像类别的判断,判别器可以更好地传递loss函数使得生成器能够更加准确地找到label对应的噪声分布,通过下图告诉了我们ACGAN与CGAN的异同之处.

 

 

为此,我们先回顾一下我们昨天讲的CGAN的loss函数:

 

 

那么在对比一下我们ACGAN他的loss函数:

 

 

Ls表示的是真实样本对应ground truth,假的样本对应fake.

Lc表示的是真实样本对应他真实的类别信息,假的样本对应的也是真实样本的类别信息

在训练判别器的时候,我们希望$L_S+L_C$最大化

在训练生成器的时候,我们希望$L_C-L_S$最大化

当然了,也有人是从JS散度优化的角度来看待这个问题的,我不想把问题将得太复杂,有兴趣的同学可以瞄一瞄:

 

 

代码实现

其实和之前的CGAN,只是做了很微小的改变,生成器和CGAN相比,就是加入了卷积层,相当于把原来CGAN里面的多层感知机换成了DCGAN里面一样的深度卷积神经网络,那么判别器同理.

生成器

def build_generator(self):

    model = Sequential()

    model.add(Dense(128 * 7 * 7, activation="relu", input_dim=self.latent_dim))
    model.add(Reshape((7, 7, 128)))
    model.add(BatchNormalization(momentum=0.8))
    model.add(UpSampling2D())
    model.add(Conv2D(128, kernel_size=3, padding="same"))
    model.add(Activation("relu"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(UpSampling2D())
    model.add(Conv2D(64, kernel_size=3, padding="same"))
    model.add(Activation("relu"))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Conv2D(self.channels, kernel_size=3, padding='same'))
    model.add(Activation("tanh"))

    model.summary()

    noise = Input(shape=(self.latent_dim,))
    label = Input(shape=(1,), dtype='int32')
    label_embedding = Flatten()(Embedding(self.num_classes, 100)(label))

    model_input = multiply([noise, label_embedding])
    img = model(model_input)

    return Model([noise, label], img)

判别器

判别器倒是有些有趣,他在卷积层的末尾相当于做了一个分叉,一边是判断真假,一边是还得判断类别.

def build_discriminator(self):

    model = Sequential()

    model.add(Conv2D(16, kernel_size=3, strides=2, input_shape=self.img_shape, padding="same"))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(Conv2D(32, kernel_size=3, strides=2, padding="same"))
    model.add(ZeroPadding2D(padding=((0,1),(0,1))))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Conv2D(64, kernel_size=3, strides=2, padding="same"))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))
    model.add(BatchNormalization(momentum=0.8))
    model.add(Conv2D(128, kernel_size=3, strides=1, padding="same"))
    model.add(LeakyReLU(alpha=0.2))
    model.add(Dropout(0.25))

    model.add(Flatten())
    model.summary()

    img = Input(shape=self.img_shape)

    # Extract feature representation
    features = model(img)

    # Determine validity and label of the image
    validity = Dense(1, activation="sigmoid")(features)
    label = Dense(self.num_classes+1, activation="softmax")(features)

    return Model(img, [validity, label])
#所以判别器的输出有两个,一个是判断真假的validity,一个图片对应的label信息


# 对应的,他的loss函数定义也挺有意思的,不得不说keras是真的方便? 
losses = ['binary_crossentropy', 'sparse_categorical_crossentropy']
self.discriminator = self.build_discriminator()
self.discriminator.compile(loss=losses,
    optimizer=optimizer,
    metrics=['accuracy'])

self.combined = Model([noise, label], [valid, target_label])
self.combined.compile(loss=losses,
    optimizer=optimizer)

训练细节

# ---------------------
#  训练判别器
# ---------------------

# 随机选择batch个图片
idx = np.random.randint(0, X_train.shape[0], batch_size)
imgs = X_train[idx]

# 生成高斯噪声noise
noise = np.random.normal(0, 1, (batch_size, 100))

# 生成随机标签
# image representation of
sampled_labels = np.random.randint(0, 10, (batch_size, 1))

# 应用随机标签和noise生成图片
gen_imgs = self.generator.predict([noise, sampled_labels])

# 判别器要判别10(0~9)+1(fake)=11种类别
img_labels = y_train[idx]
fake_labels = 10 * np.ones(img_labels.shape)

# 训练判别器
d_loss_real = self.discriminator.train_on_batch(imgs, [valid, img_labels])
d_loss_fake = self.discriminator.train_on_batch(gen_imgs, [fake, fake_labels])
d_loss = 0.5 * np.add(d_loss_real, d_loss_fake)

# ---------------------
#  训练生成器
# ---------------------

# 训练生成器
g_loss = self.combined.train_on_batch([noise, sampled_labels], [valid, sampled_labels])

实验结果

 

 

作者从1000类的imageNet数据集上挑选了10种类别的图像,并在不同的尺度上做了实验,我们看得出来,在彩色图像上的生成结果还是马马虎虎不错的,不过看起来还是显得图像没什么协调感,在之后的GAN中,我们会讲到如何利用GAN生成高质量的图像.看到这里了要是看官老爷觉得interesting,不如麻烦关注转发好看三连一波,你的每一点小小的鼓励都是对作者莫大的鼓舞鸭?.

参考

https://zhuanlan.zhihu.com/p/44177576

http://ruishu.io/2017/12/26/acgan/

https://www.cnblogs.com/punkcure/p/7873566.html

https://github.com/eriklindernoren/Keras-GAN/blob/master/acgan/acgan.py

 

xiewenbo
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
读论文笔记（ACGAN）
qq_40128284的博客
08-15 5853
前言： 这篇论文的全称为：《Conditional Image Synthesis with Auxiliary Classifier GANs》，基于辅助分类器GANs的条件图像合成，在很多时候，它和SGAN一样经常被人们称为半监督学习，因为会用到图片的类别标签；ACGAN同时结合了CGAN和SGAN的做法来提高图片的生成质量，即CGAN通过结合标签信息来提高生成数据的质量，SGAN通过重建标签信息来提高生成数据的质量。在我看来，（1）ACGAN的提出在很大程度上解决了GAN模型崩溃的问题，所谓GAN
【深度视觉】第十六章：生成网络4——条件GAN之cGAN、SGAN、ACGAN、infoGAN、LAPGAN
最新发布
因为热爱所以坚持
04-24 527
这里的标签指的是真实数据的真实标签，比如mnist数据集，真实数据的真实标签就是123456789这10个数字。那如何把这个标签信息喂入模型？但是cgan的这种输入标签的做法，会出现模型不一定会重视你输入的标签信息的情况，此时infogan提出了一 个解决方案：infogan提出给损失函数加入一项：“能以某种评估指标衡量生成的图像G(x/c)与额外信息(c)之间 的相关性”项。那把标签都输入模型了，那模型的输出就是在知道标签的条件下的预测结果，所以生成器的输出结果和判别器的预测结果，就都是一个条件概率了。
实用代码 17 CGAN和ACGAN
04-18
实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和ACGAN实用代码 17 CGAN和A
ACGAN和CGAN的区别
Weberyoung的博客
06-11 3364
网络结构 相同的是ACGAN和CGAN在生成器输入时候，噪音z都拼接了采集的labels。 不同的是，ACGAN在判别器输入时，真假数据集都没有拼接labels，labels只是用来在辅助分类器中作为target_labels。而CGAN的判别器输入，真假数据集都拼接了labels。 网络结构上，生成网络和鉴别网络的网络层不再是CGAN的全连接，而是ACGAN的深层卷积网络（这是在DCGAN开始引入的改变），卷积能够更好的提取图片的特征值，所有ACGAN生成的图片边缘更具有连续性，感觉更真实。 CGA
辅助分类器的条件图像合成AC-GAN（Conditional Image Synthesis with Auxiliary Classifier GANs）
风一样的自由，色彩斑斓的雨季
01-04 1万+
原文链接：Conditional Image Synthesis with Auxiliary Classifier GANs 文章贡献： 1.在D的输出部分添加一个辅助的分类器来提高条件GAN的性能 2.提出 Inception Accuracy 这种新的用于评判图像合成模型的标准 3.引进MS-SSIM用于判断模型生成图片的多样性   本文工作与前人不同之处（图片来自互联网，当前版...
ACGAN Pytorch实现
02-08
**ACGAN Pytorch实现** ACGAN，全称为Adversarial Content-Aware Generative Adversarial Networks，是一种在生成对抗网络（GANs）基础上扩展的模型，它不仅学习生成新的样本，还能同时学习到数据的类别信息。GANs...
Keras上用ACGAN实现自己数据的数据扩增（可直接运行）
04-30
在Keras上使用ACGAN生成图片实现数据扩增，可直接运行。输入一个随机数和标签可以调用生成模型输出指定种类的图片。生成模型和判别模型可根据自己的任务调优设计。
基于ACGAN-动漫头像自动生成系统
04-15
【标题】"基于ACGAN-动漫头像自动生成系统"是指一种使用高级条件生成对抗网络（Adversarial Conditional Generative Networks, ACGAN）技术来创造动漫头像的自动化系统。这种系统通常应用于艺术创作、游戏设计或者...
mnist_acgan.py例子
01-28
keras 官方例子，深度学习专用，机器学习专用，代码简单，
生成对抗网络（GAN） 理论概念、改进模型与练习题
hanmo22357的博客
04-12 3379
使得生成器生成的假样本难以被不断优化的判别器识别出来。
acgan
qq_38038430的博客
03-18 543
论文笔记 acgan(Conditional Image Synthesis with Auxiliary Classifier GANs) gan损失函数： acgan损失函数： D is trained to maximize LS + LC while G is trained to maximize LC - LS.AC-GAN学习与类标签无关的z表示形式 广义上讲， 发生器G的结构是一系列“反卷积”层，它们将噪声z和c类别转换为图像 判别器D是具有LeakyReLU非线性的深度卷积神经网络 证
官网实例详解4.22（mnist_acgan.py）-keras学习笔记四
wyx100的专栏
06-29 3399
基于MINIST数据集训练辅助分类器ACGAN（生成对抗网络） 包含了辅助分类器（功能）的生成对抗网络 Keras实例目录 运行生成文件 效果展示 plot_epoch_073_generated（图片文件） 代码注释 # -*- coding: utf-8 -*- """ Train an Auxiliary Classifier Generative Adversari...
第G9周：ACGAN理论与实战
m0_62017984的博客
04-19 818
如何评价一个生成模型生成图片的分辨率，最简单的方法无非就是直观用眼睛来看，但这样显然无法量化一个图片的好坏，于是作者提出使用一个分类器，若生成的图片具有较高的分类正确率，就有理由认为生成的图片质量比较高，也即该图片具有较高的可分辨性，如上所述，生成高分辨率的图片，需要不是简单的将低分辨率的图片进行线性插值来生成，因而要量化的分析生成的图片的质量，可以从其分辨力。原始任务是生成伪造图像。我们在之前关于图像质量评估的工作基础上，提供了两种新的分析方法，用于评估来自类条件图像合成模型的样本的可辨识性和多样性。
基于Keras的生成对抗网络（4）——利用Keras搭建ACGAN生成手写体数字并贴上标签
Wendy的博客
04-23 833
0、前言 上两篇文章分别介绍了DCGAN 和CGAN的基本原理和代码示例，同时也反映出二者的一些缺点，比如DCGAN无法为图像添加标签进行分类，CGAN生成图像效果不好等。这一篇就来一下DCGAN与CGAN的综合版本——ACGAN。 一、ACGAN介绍及其结构 1.1 ACGAN介绍 ACGAN全称Auxiliary Classifier GAN，是在CGAN基础上的扩展，通过对判别器进行改进实现了图像分类的功能，论文链接：https://arxiv.org/abs/1610.09585 原始GAN网络的功
深度学习ACGan学习笔记，keras版
u011311291的博客
09-05 3847
一.ACGAN(Auxiliary Classifier GAN) 依旧有Generator,Discriminator,可使用MNSIT训练生成图片。 和DCGAN的不同: 1.增加了class类别标签参与训练，可以生成指定类别的图片 代码引用的《Web安全之强化学习与GAN》，位置: https://github.com/duoergun0729/3book/code/keras-a...
CGAN原理分析
热门推荐
简单记录生活、学习
04-03 2万+
1、CGAN原理分析 1.1 网络结构 CGAN是在GAN基础上做的一种改进，通过给原始GAN的生成器Generator（下文简记为G）和判别器Discriminator（下文简记为D）添加额外的条件信息y，实现条件生成模型。CGAN原文中作者说额外的条件信息可以是类别标签或者其它的辅助信息，本文使用条件信息（记为y）作为例子。因此CGAN的提出使得GAN可以利用图像与对应的标签进行训练，并在测试阶段利用给定标签生成特定图像。 CGAN的核心操作是将条件信息加入到G和D中（其实就是G和D都加入类别标签
acgan pytorch
04-04
ACGAN stands for Auxiliary Classifier Generative Adversarial Networks. It is a type of generative model that uses deep neural networks to generate new data samples that mimic a given dataset. ACGANs also have an auxiliary classifier that helps to generate samples with specific attributes or labels. PyTorch is a popular deep learning framework used for building and training neural networks. PyTorch provides a simple and efficient way to build ACGAN models. To build an ACGAN in PyTorch, you would typically: 1. Define the generator and discriminator networks using PyTorch's nn.Module class. 2. Implement the loss functions for the generator and discriminator networks. 3. Train the ACGAN model using PyTorch's built-in optimization functions and training loops. Here is an example of PyTorch code for building an ACGAN: ``` import torch import torch.nn as nn import torch.optim as optim class Generator(nn.Module): def __init__(self): super(Generator, self).__init__() # define generator network architecture def forward(self, z, y): # generate new samples based on noise vector z and label y class Discriminator(nn.Module): def __init__(self): super(Discriminator, self).__init__() # define discriminator network architecture def forward(self, x, y): # classify whether input x is real or fake based on label y # define loss functions adversarial_loss = nn.BCELoss() auxiliary_loss = nn.CrossEntropyLoss() # initialize generator and discriminator networks generator = Generator() discriminator = Discriminator() # define optimizer for each network optimizer_G = optim.Adam(generator.parameters(), lr=0.0002, betas=(0.5, 0.999)) optimizer_D = optim.Adam(discriminator.parameters(), lr=0.0002, betas=(0.5, 0.999)) # train ACGAN model for epoch in range(num_epochs): for i, (real_images, real_labels) in enumerate(data_loader): # train discriminator with real images discriminator.zero_grad() real_validity = discriminator(real_images, real_labels) real_loss = adversarial_loss(real_validity, torch.ones(real_validity.size()).cuda()) real_loss.backward() # train discriminator with fake images z = torch.randn(batch_size, latent_dim).cuda() fake_labels = torch.randint(0, num_classes, (batch_size,)).cuda() fake_images = generator(z, fake_labels).detach() fake_validity = discriminator(fake_images, fake_labels) fake_loss = adversarial_loss(fake_validity, torch.zeros(fake_validity.size()).cuda()) fake_loss.backward() # train generator generator.zero_grad() gen_images = generator(z, fake_labels) gen_validity = discriminator(gen_images, fake_labels) gen_loss = adversarial_loss(gen_validity, torch.ones(gen_validity.size()).cuda()) aux_loss = auxiliary_loss(fake_labels, fake_labels) g_loss = gen_loss + aux_loss g_loss.backward() # update discriminator and generator parameters optimizer_D.step() optimizer_G.step() # print training progress print("[Epoch %d/%d] [Batch %d/%d] D_loss: %.4f G_loss: %.4f" % (epoch+1, num_epochs, i+1, len(data_loader), (real_loss+fake_loss).item(), g_loss.item())) ``` In the above code, we define a Generator and Discriminator network, loss functions, and optimizers. We then train the ACGAN model by alternating between training the discriminator and generator networks on batches of real and fake data samples. The generator network is trained to generate new samples that fool the discriminator network, while also generating samples with specific attributes or labels.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值