[DL笔记] 生成对抗网路 GAN介绍 李宏毅深度学习

最新推荐文章于 2022-10-21 18:55:25 发布
最新推荐文章于 2022-10-21 18:55:25 发布
阅读量374 收藏 2
点赞数
分类专栏： Deep Learning 文章标签： 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/VIPsucks/article/details/103616316
版权

来自台大李宏毅老师深度学习开放式课程，以及我在medium的笔记内容

原文link（建议阅读此篇，有图比较好看，要fq）：DL笔记：生成对抗网络GAN

GAN的分类

  1. Typical GAN
    找一个generator（即一个function），输入随机向量，输出为向量转换生成的结果。例：收集很多动画人物的头像，把这些头像喂给generator，generator学会产生出新的动画人物头像。
  2. Conditional GAN
    例：给generator一段代表情境的文字，让他产生符合情境的图片
  3. Unsupervised Conditional GAN

Typical GAN：以产生动画人物图片为例

训练两个NN

  • 架构取决于任务。例如：产生图片的话NN架构通常会是CNN，产生文字、句子的NN架构通常会是RNN、LSTM等等
  • 参数随机初始化
  • Generator：将低维向量转换成高维向量
  • Discriminator：输入高维向量（图片），输出分数，代表现在输入的这张图片是否人为产生（real or fake）

训练方法：

固定住Generator（以下简称G）
  • 只训练Discriminator（以下简称D），让他看到偏真实的图片就给高分，看到偏向不真实的图片给低分。
  • 好图片：将DB中的真实图片随机取样喂给D，D对这些真实图片打高分，
  • 不好的图片：第一次G产生的图片很大机率是不好的，因为参数随机初始化，还没训练过，这些图片对D来说就是不好的图片
  • D的学习目标就是：将好图片给高分，将不好图片给低分。 训练方式跟训练NN方式一样，也可以当作回归问题或是分类（binary classifier）问题来做。 跟传统二元分类不同的地方只在于label是机器标注而不是人工标注。
固定住D，只训练G

  • Generator学习骗过Discriminator，而不是人订出来的objective function（目标函数）

  • 让G产生的图片丢进D中，让固定住的D打分数，然后把G和D串在一起，视为两个NN组成的巨大NN

  • 将巨大NN输入视为一个向量，输出为一个分数

  • 在这个NN的中间某一维，把他的的hidden layer的output拿出来看作是一张图片（也就是G产生的结果）

  • 巨大NN的目标：让最终输出的score越高越好：用Backpropagation去找，只是会固定住D中对应的几个维度，只调整G中对应的几个维度

  • 调整完Generator后，G的新输出会有变化，会使D给这个新的图片比原先旧的比较不好的图片还高的分数。

  • 总结：实际在训练的时候，是D和G交替训练

  • 改进的GAN：WGAN、improved WGAN…

Conditional GAN

根据输入产生对应的输出的generator

一开始的想法：想要输入一些情境文字，让G产生对应情景的输出e.g. 输入”红发女生”，G会产生一个红发女生图片

  • 直觉的方法：Traditional supervised approach
    • 发现效果并不如想像中好。
    • 比如说输入文字：”train”代表火车，训练的已标注图片可能有正面的火车、侧面的火车，但都属于火车，如果对Network来说正确答案有很多个，他会采取正确答案的平均，这样子输出结果就会很模糊，是一个四不像
  • Conditional GAN
    • 一般来说也需要paired data（输入文字和图片的对应关系），所以是supervised，也可以是unsupervised，但也跟传统方法不太一样。
    • G不去看ground truth，看的是D，根据Discriminator学的=>所以D需要输入一组Condition c和一组高维向量x，输出的是一个scalar，判断x是否为真实图片以及c、x是否情境匹配

D训练的方法：

  • Positive sample 给高分的情况：Good pair(DB中有label的data)，告诉D要给他们高分。即：
    case1：好的图片+正确文字
  • Negative sample 给低分的情况：
    一般GAN的想法：把一段文字输入给G，产生图片，这次产生出来的pair给低分=>会造成问题，D就会倾向于只判断图片的好坏，所以还要引入好图片+错误情境文字的sample
    case2：不好的图片+正确文字
    case3：好的图片+错误文字

Conditional GAN的应用

  1. 声音转换为影像
    自己实作的效果不太好
  2. 影像转换为文字
    把多分类问题”一张图片可以同时属于多个不同的类别“用Conditional
    发现各种模型（VGG、Resnet等）加上GAN的话效果都有提升
    因为GAN可以帮助发现label和label之间的依赖关系
  3. Samsung做的Talking Head，让蒙娜丽莎互动蒙娜丽莎会动

Unsupervised Conditional GAN

想法：
使用unpaired data，最常看到的应用是图片风格的转换。图片DB有属于不同domain的图片，领域x的跟领域y没有任何对应关系。
训练一个Generator，目标：以将真实照片风格转换为梵谷画风格的图片为例子

Cycle GAN

[img]

  • Domain X代表的是属于真实照片的图片
  • Domain Y代表的是属于梵谷画的画作图片
  • 用Domain Y训练𝐷𝑌DY，为属于Domain Y的图片打分数
  • 用Domain X训练𝐺𝑋→𝑌GX→Y，学习骗过Discriminator， 让他产生出来的画作要能让D以为是Domain Y的图=>有个问题：Generator可能很快就会发现可能很快就会发现D判断只是G的输出，可能会只产生单一梵谷风格图片就无视输入，不再转换其他照片为梵谷风格图片了=>再加上一个Generator 𝐺𝑌→𝑋GY→X

[img]
[img]

第二个Generator将第一个G的输出还原为原本的照片，希望输入输出越接近越好=>第一个Generator有了约束，就会想办法改成梵谷画风
双向 Cycle GAN

[img]

除了把真实照片转换为有风格的图片，再加上一个反向的Generator，把梵谷风格图片转换越像真实照片越好，再把这个像真实照片的梵谷图片转换成原本的梵谷画作图片

还可以应用在文字或语音上，转换文字风格(配合seq2seq+BP)或是让机器说话、unsupervised语音辨识

个人总结：以往只有听说过GAN，没去了解过，直到这几天，这是2019年李宏毅老师开设在台大的深度学习课程中介绍GAN的部分。李老师在GAN这一块介绍的非常详细，这篇笔记只是撷取他的quickview去做笔记而已，其他更详细的可以参考他的youtube频道

Abby Liu
关注
专栏目录
李宏毅-Generative Adversarial Network
12-18
李宏毅-Generative Adversarial Network PPT 视频教学
课程向：深度学习与人类语言处理 ——李宏毅，2020 (P10)
阿芒Aris的博客
08-21 6189
>在前几篇中讲解了语音辨识 Speech Recognition 的前世今生，而从本篇起将进入 Voice Conversion 语音转换的篇章。 本篇将讲解 语音转换 的定义、应用 以及在实现技术中重要的Encoder和Decoder部分
李宏毅学习笔记30.GAN.01.Introduction of Generative Adversarial Network
老毛的博客
05-03 1366
文章目录简介GenerationBasic Idea of GANGeneratorDiscriminator二者的关系Algorithm语言描述版数学描述版例子：Anime Face GenerationGAN as structured learningStructured LearningStructured Learning面临的挑战Structured Learning Approach...
李宏毅老师课程：Deep Learning
APythonC的博客
07-21 496
深度学习一级目录二级目录三级目录 一级目录 二级目录 三级目录
[人工智能-深度学习-60]：生成对抗网络GAN - 结构化学习Structured Learning
文火冰糖（王文兵）的博客
12-14 1358
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 第1章 关于回归与分类 1.1 回归问题 1.2 分类问题 第2章结构化学习 2.1 概述 2.2 结构化学习的数学函数 第1章 关于回归与分类 1.1 回归问题 用一个经典的问题来解释： （1）假设你想买房子，手头上仅有的是之前出售的房子的占地面积大小和房子的价格，你想凭借手头上的这些数据来买一套不错的房子，那么你仅有的关于房子的信息是房子的占地大小，也就是就一个特征.
【李宏毅2020 ML/DL】P75 Generative Adversarial Network | Conditional GAN
记录学习痕迹的公众号：Piper蛋窝
08-07 868
介绍了 Conditional GAN 。思想是让 D 判断 G 生成的东西与输入信息是否匹配。
【李宏毅2020 ML/DL】P79 Generative Adversarial Network | Tips for improving GAN
记录学习痕迹的公众号：Piper蛋窝
08-08 723
JS divergence 存在问题固有问题，由此，介绍了LSGAN、WGAN等技术。
【李宏毅2020 ML/DL】P82 Generative Adversarial Network | Improving Sequence Generation by GAN
记录学习痕迹的公众号：Piper蛋窝
08-08 842
关于序列数据的GAN生成模型，分为 Conditional 和 Unsupervised Conditional 两部分。
【李宏毅2020 ML/DL】P84 SAGAN, BigGAN, SinGAN, GauGAN, GANILLA, NICE | More About GAN 2020
记录学习痕迹的公众号：Piper蛋窝
08-09 1460
介绍了2020年 6 个图像领域表现较为突出的 GAN 。
【李宏毅2020 ML/DL】P80 Generative Adversarial Network | Feature Extraction
记录学习痕迹的公众号：Piper蛋窝
08-08 780
关于 GAN 的特征提取技术，主要是 Auto Encoder 与 GAN 的结合。介绍了 InfoGAN、VAE-GAN、BiGAN、半监督学习的 Triple GAN 。
(转) 简述生成式对抗网络
a1424262219的博客
11-16 347
简述生成式对抗网络 【转载请注明出处】chenrudan.github.io 本文主要阐述了对生成式对抗网络的理解，首先谈到了什么是对抗样本，以及它与对抗网络的关系，然后解释了对抗网络的每个组成部分，再结合算法流程和代码实现来解释具体是如何实现并执行这个算法的，最后给出一个基于对抗网络改写的去噪网络运行的结果，效果虽然挺差的，但是有些地方...
【深度学习】生成对抗网络GAN｜GAN、WGAN、WGAN-UP、CGAN、CycleGAN、DCGAN
最新发布
m0_52427832的博客
10-21 2926
生成对抗网络由两个部分组成：生成器（Generator）和判别器（Distriminator） * 生成器：生成一个真实数据类似的数据分布（伪造数据） * 判别器：判断生成器生成的图片是真的还是假的（鉴别数据），类似于一个二分类器 在生成对抗模型框架中，有两个模型一个是生成模型G，一个判别模型D。生成器G根据隐含信息来随机生成观测数据，判别器D判别生成器生成的数据是真还是假。当判别器D判断生成器G生成了假数据后给生成器G一个惩罚，这导致生成器G被迫向“不受到”判别器D惩罚的方向进化学习，二者就构成了一个动态
生成对抗网络-条件生成|深度学习（李宏毅）（二十五）
weixin_42431920的博客
03-21 823
一、Text-to-Image 概述 对于原来的GAN来说，只能够输入一个随机的向量，然后得到一个产生的对象，但是我们无法控制产生什么样的对象，而我们期待用GAN来做到这件事，也就是条件生成（Conditional Generation）。以Text-to-Image任务来说，我们希望给Generator输入一段文字，然后让它来产生对应的图片： 对于这样的一个任务，我们可以考虑用监督学习的方法来做，也就是给神经网络输入一段文字，来让其输出一张图片，并且要让图片与目标图片越接近越好，以此来达到条件生成的
【论文笔记】Improved Residual Networks (iResNet)
Y_a_n_g_Y的博客
06-17 1637
论文名称：《Improved Residual Networks for Image and Video Recognition》 论文链接：https://arxiv.org/abs/2004.04989 代码链接：https://github.com/iduta/iresnet 残差网络（ResNets）代表了一种强大的卷积神经网络（CNN）体系结构，已广泛用于各种任务中。在这篇论文中，作者针对ResNets的三个主要组成部分（通过网络的信息流、残差构建块和projection shortcut）加以改
GAN介绍
小红鱼的博客
01-10 336
What I cannot create, I do not understand. 我没有创造出它，说明我对它没有理解透彻 Nash Equilibrium(纳什均衡) Generator Discriminator GAN的原理： min⁡Gmax⁡DL(D,G)=Ex∼pr(x)[log⁡D(x)]+Ez∼pz(z)[log⁡(1−D(G(z)))]=Ex∼pr(x)[log⁡D(x)]...
生成对抗网络gans_生成对抗网络gans简介
weixin_26630173的博客
09-03 391
生成对抗网络gans 介绍 (Introduction) Generative Adversarial Networks (GANs) were first introduced in a paper by Goodfellow and other researchers at the University of Montreal in 2014. Since then we have seen ...
DL之GAN：生成对抗网络GAN的简介、应用、经典案例之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-14 1万+
DL之GAN：生成对抗网络GAN的简介、应用、经典案例之详细攻略 目录 生成对抗网络GAN的简介 1、生成对抗网络的重要进展 1.1、1986年的RBM→2006年的DBN 1.2、AutoEncoder模型→Denoise AutoEncoder模型 1.3、2014年的GAN，年轻有为的Ian Goodfellow→cycleGAN和vid2vid 生成对抗网络...
李宏毅MLDS课程笔记9：Generative Adversarial Network(GAN)
徐子尧的博客
04-23 4308
NIPS 2016 Tutorial: Generative Adversarial Networks [Paper] [Video] tips for training GAN: https://github.com/soumith/ganhacksBasic Idea of GAN1、最大化似然函数等价于最小化PdataP_{data} 与PGP_G 之间的KL散度。如果PGP_G 取的是GM
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值