GAN 发展历程

最新推荐文章于 2024-10-13 20:20:41 发布
最新推荐文章于 2024-10-13 20:20:41 发布
阅读量8.3k 收藏 126
点赞数 18
分类专栏： 人工智能 文章标签： gan
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19272431/article/details/93380342
版权

这几年出现的比较有影响力的 GAN，从最初的 Goodfellow 版 GAN 到近来大火的 BigGAN、StyleGAN 等，博客的后续内容也是按照这张图的顺序进行的。

GAN 路线图。

Goodfellow 版 GAN

 

GAN 是由 Goodfellow 等人于 2014 年提出的（目前公认的说法）。其基本思想可以概括为：

 

GAN 包含两个神经网络，一个神经网络尝试生成真实的数据（主要是图片，也可能是其他数据的分布），而另一个网络尝试判别真实的和生成的数据。

标准的生成对抗网络结构。

 

这场「猫捉老鼠」的游戏会一直继续下去，直到系统达到所谓的「平衡」，即生成器生成的数据以假乱真到判别器无法判别。

Goodfellow 等人 2014 年提出的 GAN 生成的图像。

 

  • 论文地址：https://arxiv.org/abs/1406.2661

  • 代码实现地址：https://github.com/goodfeli/adversarial

  • 其他资源：https://arxiv.org/abs/1701.00160

 

DCGAN: 深度卷积生成对抗网络

 

DCGAN 的思路可以简单概括为：

 

  • 卷积神经网络=处理图像效果好

  • 生成对抗网络=生成数据效果好

  • ⟹卷积神经网络+生成对抗网络=生成图像效果好

标准的 GAN 使用多层感知机作为网络结构。但是考虑到卷积神经网络在获取图像特征方面的效果，DCGAN 采用了它作为主要网络结构。同时，DCGAN 稍微做了一些调整，使用了转置卷积操作（transposed convolution operation），它的另一个名字是 Deconvolution。转置卷积帮助图像从低清晰度向高清晰度转换，同样的，采用多层转置卷积可以使图像变得生动多彩。

卷积核的工作原理。通过卷积方式将稀疏的图像矩阵转换为密集矩阵。

 

DCGAN 生成的图片。较 GAN 更清晰，有更多色彩。

 

  • 论文地址：https://arxiv.org/abs/1511.06434

  • 代码实现地址：https://github.com/floydhub/dcgan

  • 其他资源：https://towardsdatascience.com/up-sampling-with-transposed-convolution-9ae4f2df52d0

 

CGAN: 条件生成对抗网络

 

原始的 GAN 从噪声中生成图片。因此，如果训练的是一类图（例如，狗），其能生成这一类图片。但是，如果训练中同时有很多类（例如，狗和猫都有）图片，则生成的图片是这些图片模糊的混合。而 CGAN 可以让用户指定生成的图片分类。

 

具体的，CGAN 将 one-hot 向量 y 和随机噪声向量 z 拼接，组成如下的结构：

 

 

使用 CGAN 可以生成指定的 MNIST 数字。

 

  • 论文地址：https://arxiv.org/abs/1411.1784 (https://arxiv.org/abs/1511.06434)

  • 代码实现地址：https://github.com/PacktPublishing/Advanced-Deep-Learning-with-Keras (https://github.com/floydhub/dcgan)

  • 其他资源：https://wiseodd.github.io/techblog/2016/12/24/conditional-gan-tensorflow/

 

CycleGAN

利用 GAN 变体 CycleGAN 进行风格迁移。

 

GAN 不仅可以用来生成图像，还可以创造「马+斑马」这种叠加效果的图像，CycleGAN 解决的就是这种问题，即图像到图像的转换。

 

CycleGAN 包含两个生成器（G 和 F）和两个判别器（D_X 和 D_Y）。G 从 X 中得到一张图像，并尝试将其映射到 Y 中的某个图像。判别器 D_Y 预测一张图像究竟是由 G 生成的还是 Y 中的真实图像。

 

F 也进行类似的操作，即从 Y 中得到一张图像，并尝试将其映射到 X 中的某个图像。判别器 D_X 预测一张图像究竟是由 F 生成的还是 X 中的真实图像。

 

所有四个网络都是用普通 GAN 的方式训练的，直到得到强大的生成器 G 和 F，生成的图像分别骗过 D_X 和 D_Y。

CycleGAN 的结构。

 

利用 CycleGAN 将画家的画风移植到照片上。

 

  • 论文地址：https://arxiv.org/abs/1703.10593v6

  • 代码实现地址：https://github.com/junyanz/CycleGAN

 

CoGAN：成对（Coupled）生成对抗网络

想要更好的结果？为什么不试试两个 GAN？

CoGAN 的原作者这样解释：

「在这个系统中，有两个队伍，每个队伍有两个队员。生成模型是其中一个队，生成一个不属于一类图片的图片对来迷惑判别器队。判别器队尝试将图片的类，以及是否是训练数据或生成数据都判别出来。两个队伍共享权重。」

 

CoGAN 的结构。

 

CoGAN 的效果。相比 DCGAN 清晰度更高，更为真实。

 

  • 论文地址：https://arxiv.org/abs/1606.07536

  • 代码实现地址：https://github.com/mingyuliutw/CoGAN 

  • 其他资源：https://wiseodd.github.io/techblog/2017/02/18/coupled_gan/ 

 

ProGAN

 

训练 GAN 有很多问题，其中最大的问题是训练的不稳定性。

 

有时候，判别器和生成器无法从彼此学习数据。有时候，生成的图片变得非常奇怪。

 

ProGAN 可以通过逐层提高生成图片的分辨率来用来稳定 GAN 的训练。

 

这一逻辑是：生成 4x4 的图片比生成 1024x1024 图片要更简单。同时，从 16x16 的图片映射到 32x32 比从 2x2 的图片映射更容易。

因此 ProGAN 首先训练一个 4x4 的生成器和一个 4x4 的判别器，并在训练进程中逐渐增加层数，提高分辨率。

ProGAN 逐渐加深训练的过程。随着网络层数变深，图像越来越清晰。

 

  • 论文地址：https://arxiv.org/abs/1710.10196

  • 代码实现地址：https://github.com/tkarras/progressive_growing_of_gans 

 

WGAN：Wasserstein 生成对抗网络

WGAN 中的「W」指的是 Wasserstein。WGAN 提出了一种新的代价函数。

过去 GAN 的 minimax 目标函数

而 WGAN 使用：

 

GAN 的判别器和 WGAN 的判别器在学习区分高斯分布数据的情况。GAN 可能会出现梯度消失，但 WGAN 在空间内始终保持稳健的梯度变化。

新的代价函数在数学上可以防止梯度消失的情况，因此具有更好的训练稳定性。

WGAN（左）和 DCGAN（右）生成房子图片的效果对比。WGAN 更稳健，出错更少。

 

  • 论文地址：https://arxiv.org/abs/1701.07875v3

  • 代码实现地址：https://github.com/eriklindernoren/Keras-GAN

 

SAGAN：自注意力生成对抗网络

虽然使用转置卷积的 GAN 可以「扫描」图片的特征映射，但是其只能获得附近的信息。

SAGAN 使用自注意力机制，在全局图像中关注需要注意的特征信息。

SAGAN 使用注意力机制，高亮部位为注意力机制关注的位置。

 

  • 论文地址：https://arxiv.org/abs/1805.08318v1

  • 代码实现地址：https://github.com/heykeetae/Self-Attention-GAN 

 

BigGAN：大型生成对抗网络

BigGAN 由 DeepMind 提出，由于生成效果高度逼真而被誉为「史上最强 GAN 图像生成器」。

DeepMind 在研究 GAN 时尝试了前无古人的事情。他们用强大的深度学习技术训练 GAN 的网络。

 

首先，DeepMind 使用 SAGAN 作为基线，并添加了光谱特征作为输入。其次，他们将批大小提升了 50%，通道数提升了 20%。同时，研究人员使用了截断方法来提升样本的质量。最终，他们在新的数据集 JFT-300 上进行训练，这是一个类似于 ImageNet 的数据集，但是有 3 亿张图片。

BigGAN 生成的高清晰图片，包含各种类别。

 

  • 论文地址：https://arxiv.org/abs/1809.11096v2 

  • 代码实现地址：https://github.com/huggingface/pytorch-pretrained-BigGAN 

 

StyleGAN：基于风格的生成对抗网络

 

StyleGAN 来自英伟达的一项研究，关注的是损失函数、稳定性、架构等。

 

因此，StyleGAN 没有专注于生成更加逼真的图像，而是致力于提高 GAN 对生成图像的精确控制能力。

 

为了达到图像风格级别的控制，StyleGAN 使用了适应实例归一化（Adaptive instance normalization）、潜在向量映射网络、不断学习的输入等已有技术。

 

  • 论文地址：https://arxiv.org/abs/1812.04948

  • 代码实现地址：https://github.com/NVlabs/stylegan

AREH
关注
专栏目录
GAN的发展：研究GAN的最新趋势和技术发展
AI天才研究院
07-13 3916
作者：禅与计算机程序设计艺术 GAN的发展：研究GAN的最新趋势和技术发展 作为人工智能领域的专家，作为一名程序员，一名软件架构师和一名 CTO，我深刻认识到 GAN（生成式对抗网络）在当今科技发展中的重要性。GAN 自诞生以来，已经在多个领域展现出了其独特的魅力，
生成对抗网络GAN原理与代码实例讲解
AI架构设计之禅
05-24 426
1. 背景介绍 1.1 从图像生成到生成对抗网络 近年来，随着深度学习技术的飞速发展，图像生成领域取得了显著的成果。从最初的像素级别生成，到如今能够生成以假乱真的高清图像，技术的进步令人惊叹。在众多图像生成模型中，生成对抗网络（Generative Adversarial Networks，
4. 生成对抗网络（GAN）：生成模型的崛起
Network_Engineer的博客
09-02 1376
生成对抗网络（GAN）通过生成器和判别器的对抗性训练，实现了高质量的数据生成。GAN及其变体在图像生成、风格迁移、数据增强等领域展示了强大的能力。尽管GAN的训练过程具有挑战性，但其在生成模型中的成功应用，已为深度学习带来了新的创新方向。在未来，随着GAN技术的进一步发展，它将在更多领域中发挥重要作用。
深度学习之 生成对抗网络 GAN 及发展历程整理
ClarkChang的博客
08-27 6231
代码 import argparse import distutils.util import tensorflow as tf import numpy as np import pickle import matplotlib.pyplot as plt import os from tensorflow.examples.tutorials.mnist import input_data...
GAN（生成对抗网络）发展
NCU_wander的博客
03-16 1492
引言：之前对GAN进行相关的介绍，并在组内进行分享；但之前的分享比较偏向于GAN的前世，对于GAN的今生关注的程度不高，本文重点对GAN的今生进行梳理。 GAN的今生 GAN的前世之前进行过相关总结，在此不再进行赘述，具体可以观看李弘毅老师的讲课视频，深入浅出；Goodfellow在写成 Geneative adversarial nets 这一划时代的大作的时候自然是留了为数众多的坑代填，后来...
生成对抗网络 GAN 基本原理与发展历程
小哈里的博客
02-13 4128
1、什么是GAN 2、GAN的发展
生成对抗网络(GAN)的发展史 + StyleGAN的发展史
热门推荐
MOL
03-26 2万+
目录 诞生 青春期 1.DCGAN 2.BigGAN 3.StyleGAN 4.StackGAN 5.CycleGAN 6.Pix2pix 7.Age-cGAN（Age Conditional Generative Adversarial Networks） Edmond de Belamy 这个人并不存在 Deep Fakes 未来发展 现在 诞生 生成器网络将来自潜在空间的随机噪声矢量（不是来自潜在空间的所有GAN样本）变换为真实数据集的样本。 GAN具有大量的实际用例
深入浅出 GAN·原理篇文字版（完整）| 干货
06-13 9004
这次的内容主要是想梳理 GAN 从 NIPS 2014 被提出，到 2017年5月，都有哪些重要的从原理和方法上的重要研究。一共覆盖了25篇重要论文（论文列表见本文最下方）。 引言：GAN的惊艳应用 首先来看看 GAN 现在能做到哪些惊艳的事呢？ GAN 可以被用来学习生成各种各样的字体——也就是说，以后字迹辨认这种侦查手段很可能就不靠谱啦！这个工
GAN：开启未来科技之门的神奇钥匙
最新发布
m0_62110645的博客
10-13 1026
GAN，即生成式对抗网络，是一种深度学习模型，由生成器和判别器组成，通过相互对抗实现学习。生成对抗网络在 2014 年由伊恩・古德费洛等人提出，其设计灵感来源于博弈论中的 “零和游戏”。生成器的任务是接收一个随机噪声向量作为输入，并将其转化为与真实数据相似的样本。例如，生成器可能会将一个服从正态分布的随机噪声转化为一幅逼真的图像。初始阶段，生成器的输出可能非常随机，但随着训练的进行，它会逐渐生成更加逼真的样本。判别器则是一个二分类器，用于评估输入样本的真实性。
详细介绍GAN模型的发展历程
05-19
GAN的发展历程可以概括为以下几个阶段： 1. 传统的生成模型：传统的生成模型主要是基于概率统计的方法，如高斯混合模型和隐变量模型等。这些模型的生成能力较弱，无法生成具有高度逼真度的图像等复杂数据。 2. ...
GAN学习历程之CycleGAN论文笔记
小张的记录
02-19 1万+
GAN目前发展的很快，成果也很多，从GAN->Pix2pix->CycleGAN 本来是准备看一篇19年一月份ICLR发表的conference paper INSTAGAN，发现这篇论文是在cycleGAN的基础上的改进，于是先阅读这篇论文。CycleGAN 论文地址：https://arxiv.org/pdf/1703.10593.pdf 代码地址：https://github.c...
人有多大胆，GAN有多高产 | AI创作利器演变全过程
量子位
01-30 826
赖可 发自 凹非寺量子位 报道 | 公众号 QbitAIGAN自从诞生以来，一路升级，功能越来越强。这种强大的方法走过了怎样的进化之路？GAN的诞生和构架GAN诞生在2014年，Ian ...
GAN网络的发展（持续更新）
ygfrancois的博客
04-06 7434
GAN生成对抗网络是最近比较火的深度学习技术，这里记录一下自己学习GAN的笔记，以便日后复习。本文不会给出每种模型的细节，只是提一下主要区别和trick，同时给出相关参考链接。 GAN可以做很多事情，如自动生成动漫人物头像；做pix2pix（image2image）的工作，如给黑白图片上色，基于模糊图片生成高清图片，素描生成真实照片，将风景画“莫奈化”等；也可以用于最近比较火的AI换脸，GAN...
GAN网络的发展及应用
Eric_Evil的博客
07-14 774
Thanks for participation ofDr Chang Xu andassistant professor Ran He fromThe University of Sydney andNational Laboratory of Pattern Recognitionseparately. Unconditional Generative Models Genera...
GAN系列(零)—— GAN的发展(两条路线)
hxxjxw的博客
09-03 532
两条路线
GAN在文本生成领域的进展和未来趋势
AI天才研究院
01-08 1038
1.背景介绍 文本生成是自然语言处理领域的一个重要方向，其主要目标是生成人类不能区分的自然语言文本。随着深度学习技术的发展，文本生成任务得到了广泛的关注和研究。在这些方法中，生成对抗网络(Generative Adversarial Networks，GANs)是一种非常有效的方法，它们在图像生成和文本生成等领域取得了显著的成果。本文将从GAN在文本生成领域的进展和未来趋势进行全面的回顾和分析。...
gan网络损失函数_GAN的发展系列三（LapGAN、SRGAN）
weixin_39559333的博客
01-06 672
GAN的发展系列三(LapGAN、SRGAN)在前面的文章里我们已经介绍了GAN生成对抗网络的入门和一些GAN系列，在之后的专辑里会继续介绍一些比较经典的GAN。GAN生成对抗网络入门介绍GAN的发展系列一(CGAN、DCGAN、WGAN、WGAN-GP、LSGAN、BEGAN)GAN的发展系列二(PGGAN、SinGAN)一、 LapGAN论文：《Deep Generative Ima...
GAN 的发展现状与展望
GitChat
11-06 6302
生成对抗网络 GAN 在近两年的突破越来越多，被称为下一代深度学习。对于从事深度学习相关行业的工作者来说，我们必须了解并熟悉 GAN，才能游刃有余地面对可能出现的新需求。 本场 Chat 首先会带领大家了解下 GAN 的基本原理，然后对 GAN 的发展过程中的几个经典 GAN 进行解读，对 GAN 的可以落地的方向进行详细的阐述，最后，对 GAN 的优化目标的发展和训练技巧做一些简单总结。 本场 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值