E. 深度学习 --- 生成式对抗网络（GAN） 之概述

最新推荐文章于 2022-04-10 16:51:24 发布
最新推荐文章于 2022-04-10 16:51:24 发布
阅读量213 收藏 1
点赞数
分类专栏： # 深度学习 文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/micklongen/article/details/120932131
版权

E. 深度学习 — 生成式对抗网络（GAN） 之概述

概述

  • 组成部分
    • Generator：类似 encoder无法学习 component 和 component 之间的关系
    • Discriminator：类似 Seq2Seq 的Decoder
  • 类比
    • Teacher - Student
    • 伪钞制作者 - 警察

Unconditional GAN

  • 基本流程：一次迭代的流程
    • 第一步：Discriminator
      • 输入：两类数据
        • 原始数据
        • Generator 生成的数据
      • 输出
        • 原始数据为 1
        • 生成数据为 0
      • BP
        • 获取所有数据的loss的平均值，反向调参
    • 第二步：Generator
      • 输入
        • 向量/矩阵
      • 输出
        • 图片/Text 等
      • BP
        • loss，有 Discriminator 给出

Supervised Conditional GAN

  • Text - to - Image
    • Generator
      • 输入
        • 文本
        • 随机噪声
          • 有可能同一个输入，有多个不同输出，因此需要加入噪音进行区分
      • 输出
        • 生成图片
    • Discriminator
      • 输入
        • Generator 的 输出/原始数据
        • Generator 的 输入
      • 输出
        • 1分
          • 对应上的数据，并且是高质量图片
        • 0分
          • 不匹配的数据
          • 匹配，但是图片质量差
    • 进阶版
      • Stack GAN：分成两阶段
        • 第一阶段
          • Generator
            • 通过一段文字，生成一张小的图片
          • Discriminator
            • 判断这段文字和这张图片是否匹配
        • 第二阶段
          • Generator
            • 通过一段文字和一张小的图片，生成一张高清图片
          • Discriminator
  • Image - to - image
    • Patch GAN
  • Sound - to - image
  • Spench Enhancement
  • Video Generation

Unsupervised Conditional GAN

  • Direct Transformation
    • 基本思路
      • Generator
        • 输入
          • Domain X的图片
        • 输出
      • Discriminator
        • 输入
          • Domain Y的图片，和Generator生成的图片
        • 输出
          • 判断是否属于Domain Y 的图片
      • 约束性条件
        • Generator 的输入和输出，希望有一定的联系
    • 算法
      • 算法一
        • Generator 的深度不要太深，理论上 输入和输出 会非常的相似
      • 算法二
        • Generator 的输入和输出，分别通过两个 Encoder 生成各自的code
        • Generator 需要确保两个code 尽可能的相近
        • Discriminator 正常判断
      • 算法三：Cycle GAN/Dual GAN/Disco GAN
        • 针对 Domain X
          • Generator：两个Generator
            • 输入 -> Generator1 -> image -> Generator2 -> 输出
            • 输入和输出尽可能相近
          • Discriminator
            • 输入
              • Domain Y的图片，和Generator生成的图片
            • 输出
              • 判断是否属于Domain X 的图片
        • 针对 Domain Y
          • Generator：两个Generator
            • 输入 -> Generator2 -> image -> Generator1 -> 输出
            • 输入和输出尽可能相近
          • Discriminator
            • 输入
              • Domain Y的图片，和Generator生成的图片
            • 输出
              • 判断是否属于Domain Y 的图片
      • 算法四：Star GAN
        • 特点
          • 跨 Domain 互转
    • 使用场景
      • 只能做小修改
  • Projection to Common Space
    • 基本思路
      • 输入 -> Encoder -> Face Attribute -> Decoder -> 输出 -> Discriminator
    • 算法
      • 思路一
        • Encoder 最后几层layer 和 Decoder 前几层的layer 是公用的
      • 思路二
        • 针对 Face Attribute，添加 Domain Discriminator
      • 思路三：Combo GAN
        • 输入 -> ENx -> Face Attribute -> DEy -> imageY -> ENy -> Face Attribute -> DEx -> 输出（imageX）
        • imageY -> DiscriminatorY
        • imageX -> DiscriminatorX
        • 输入和输出尽可能相近
      • 思路三：XGAN
        • 输入 -> ENx -> Face Attribute -> DEy -> imageY -> ENy -> Face Attribute
        • imageY -> DiscriminatorY
        • 两个 Face Attribute 尽可能相近
  • 应用场景
    • Voice Conversion
    • Video Prediction
    • Image Completion（图像还原/生成）
      • PixelRNN
        • 无监督算法
      • Encoder - Decoder 模型
      • VAE
        • 基本结构
          • Encoder - Decoder 模型 的优化
        • 基本思路
          • 通过加入噪声，能够生成ImageA 和 ImageB之间的图像，并且是可预期的
        • 缺点
          • 在做评估的时候，评估条件很死板，导致生成的数据，基本上是数据库里面的数据的线性变化，无法学到新的东西
          • 只能模仿
        • 衍生模型
          • Conditional VAE

Semi-Supervised Conditional GAN

  • Triple GAN

GAN的评估

  • 困难
    • 难点一
      • 问题
        • Mode Collapse：不断的出现同一个图像（或者只是做过简单修改的图像）
      • 解决思路
        • 在Train的过程中，不断的checkpoint，当出现Mode Collapse的时候，直接拿上一次的checkpoint的mode
    • 难点二
      • 问题
        • Mode Dropping：只生成了真实数据的一部分分布，无法覆盖全部的分布
      • 解决思路
        • 不是一张图一张图评估，而是一批图一起评估
          • Mini-batch Discriminator
          • OTGAN（Optimal Transport GAN）
    • 难点三
      • 问题
        • 生成的图片，和真实数据一模一样
      • 解决思路
  • 方式
    • 人工
    • 自动
      • 图像
        • 人脸侦测系统
        • 影像辨识系统
  • 评估算法
    • Inception Score（IS）
      • Good Quality
        • 给一定一张图片，如果分类的分数越集中，说明质量越高
      • Large diversity
        • 给定一堆生成的图片，在分类系统中，每一种类别的分布
          • 越集中，表示多样性不够
          • 越分散，表示多样性足够
    • Frechet Inception Distance（FID）
micklongen
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
生成对抗网络的损失函数如何设计_一文详解生成对抗网络(GAN)的原理，通俗易懂...
weixin_39521808的博客
12-23 1717
‍‍前言GAN网络是近两年深度学习领域的新秀，火的不行，本文旨在浅显理解传统GAN，分享学习心得。现有GAN网络大多数代码实现使用Python、torch等语言，这里，后面用matlab搭建一个简单的GAN网络，便于理解GAN原理。GAN的鼻祖之作是2014年NIPS一篇文章：Generative Adversarial Net(https://arxiv.org/abs/1406.2661),可...
深度学习-生成对抗网络（GAN）
qq_42814530的博客
09-06 295
生成对抗网络（GAN） 一、概述 生成对抗网络（Generative Adversarial Networks）是一种无监督深度学习模型，用来通过计算机生成数据，由Ian J. Goodfellow等人于2014年提出。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。生成对抗网络被认为是当前最具前景、最具活跃度的模型之一，目前主要应用于样本数据生成、图像生成、图像修复、图像转换、文本生成等方向。
GAN——生成式对抗网络
https://www.cnblogs.com/qizhou/
04-30 223
GAN的定义 　　GAN是一个评估和学习生成模型的框架。生成模型的目标是学习到输入样本的分布，用来生成样本。GAN和传统的生成模型不同，使用两个内置模型以“对抗”的方式来使学习分布不断接近输入样本分布。两个模型一个是生成式模型（Generative model），用来生成样本；另一个是判别式模型（Discriminative model），用来判断样本是否真实而不是来自生成模型。生成模型...
一文看懂GAN
10-11 690
生成对抗网络（Generative Adversarial Network，GAN）自从2014年由Ian Goodfellow提出以来，一直受到了广泛的关注和研究，在短短几年时间内获得了快速的发展，并在许多应用场景中取得了显著的成果。 常用的模型大多可以分为两类，生成模型（Generative Model）和判别模型（Discriminative Model）。前者的输出是“看起来很逼真”的虚假数据，例如合成人脸图片、撰写新闻报道，应当和真实的数据尽可能相似；相比之下，后者一般实现一个从复杂结构数据到简
GAN︱生成模型学习笔记（运行机制、NLP结合难点、应用案例、相关Paper）
素质云笔记
01-08 2万+
我对GAN“生成对抗网络”（Generative Adversarial Networks）的看法： 前几天在公开课听了新加坡国立大学【机器学习与视觉实验室】负责人冯佳时博士在【硬创公开课】的GAN分享。GAN现在对于无监督图像标注来说是个神器，不过在NLP领域用的还不是那么广泛。 笔者看来，深度学习之前都没有对数组分布进行细致考察，譬如之前我对NLP词向量就产生过很多疑虑，为啥这么长条
GAN的系列经典模型讲解
ch18328071580的博客
07-21 9654
文章目录概述一、CGAN1、基本思想2、模型简介3、 应用二、DCGAN1、基本思想2、模型简介三、WGAN1、模型解析2、模型优点四、LSGAN1、基本思想2、模型解析 概述 自从Goodfellow2014年提出这个想法之后，生成对抗网络（GAN）就成了深度学习领域内最火的一个概念，包括LeCun在内的许多学者都认为，GAN的出现将会大大推进AI向无监督学习发展的进程。 于是，研究GAN就...
深度学习-GAN生成式对抗网络
Vivinia的博客
07-31 429
生成式对抗网络（GAN，generative adversarial network）的简单理解就是，想想一名伪造者试图伪造一幅毕加索的画作。一开始，伪造者非常不擅长这项任务，他随便画了幅与毕加索真迹放在一起，请鉴定商进行评估，鉴定商鉴定后，将结果反馈给伪造者，并告诉他怎样可以让❀看起来更像毕加索的真迹。伪造者学习后回去重新画，然后再拿给鉴定商鉴定，多次循环后，伪造者已经十分熟练的伪造毕加索的画作...
生成式对抗网络GAN综述
11-05
生成式对抗网络（Generative Adversarial Networks，简称GANs）是深度学习领域的一个重要分支，由Ian Goodfellow在2014年提出。GANs的核心思想是通过两个神经网络——生成器（Generator）和判别器（Discriminator）...
《生成式对抗网络GAN时空数据应用》
08-23
生成式对抗网络（GAN）作为一种深度学习技术，在计算机视觉领域取得了巨大的成功。最近，基于GAN的技术在基于时空的应用如轨迹预测、事件生成和时间序列数据估算中显示出了良好的前景。 GAN在计算机视觉领域的成功...
生成式深度学习数学原理.pdf
07-21
本文综述了生成式深度学习中三种主流的生成模型——变分自编码器 (VAE)、条件变分自编码器 (CVAE)、向量量化变分自编码器 (VQ-VAE) 以及生成对抗网络 (GAN) 的基本原理和数学基础。这些模型不仅在理论上有着坚实的...
1-网络简单运行与GAN网络简单介绍_GaN_GAN网络简单运行TensorFlow_
10-04
GAN，全称为Generative Adversarial Networks（生成对抗网络），是由Ian Goodfellow等人在2014年提出的深度学习模型。它由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器的任务是生成与...
深度学习概述.ppt，20230128
01-28
6. 生成式对抗网络（GAN）：由生成模型和判别模型组成，通过博弈学习生成逼真的新数据。 在CNN中，卷积、填充、步幅和池化是核心术语。卷积操作使用滤波器（或卷积核）在输入数据上滑动并提取特征；填充是在输入...
生成对抗网络(GAN)简单梳理
热门推荐
时光杂货店
09-19 6万+
网上已经贴满了关于GAN的博客，写这篇帖子只是梳理下思路，以便以后查阅。 关于生成对抗网络的第一篇论文是Generative Adversarial Networks 0 前言GAN(Generative Adversarial Nets)是用对抗方法来生成数据的一种模型。和其他机器学习模型相比，GAN引人注目的地方在于给机器学习引入了对抗这一理念。回溯地球生物的进化路线就会发现，万物都是在不
GAN属于计算机视觉领域嘛_GAN生成图像综述
weixin_39836943的博客
11-21 839
作者信息：YTimoPKU EECS研究方向：深度学习，计算机视觉原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。书的购买链接书的勘误，优化，源代码资源PDF全文链接：GAN生成图像综述摘要生成对抗网络（Generative ...
【机器学习】深度学习的三个概念：Epoch, Batch, Iteration
weixin_44211968的博客
10-15 4725
文章目录含义解释参考链接 含义解释 Epoch（时期）： 当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次>epoch。（也就是说，所有训练样本在神经网络中都进行了一次正向传播 和一次反向传播 ） 再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。 然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。 Batch（批 / 一批样本）： 将整个训练样本分成若干个Batc
深度学习中epoch，batch的概念--笔记
qq_45634934的博客
04-10 5070
深度学习中epoch，batch的概念
深度学习之epoch
不负如来不负卿
10-28 2万+
一个 epoch（代）是指整个数据集正向反向训练一次。它被用来提示模型的准确率并且不需要额外数据。本节我们将讲解 TensorFlow 里的 epochs，以及如何选择正确的 epochs。 下面是训练一个模型 10 代的 TensorFlow 代码： from tensorflow.examples.tutorials.mnist import input_data import tensorf...
【GAN】若干常见GAN中的Loss及部分知识
NooahH的博客
05-19 9634
1. GAN 原始GAN论文[1]中指出，生成器GGG和判别器DDD在进行最小最大博弈。可以用下面的函数表示： min⁡Gmax⁡DV(G,D)=min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))] \min_{G} \max_{D} V(G, D) = \min_{G} \max_{D} \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_{z}}[\log (1-D(G(z)))]
qt练习控件label控件-lineEdit控件样例代码
最新发布
07-30
qt练习控件label控件-lineEdit控件样例代码
深度学习：详解生成对抗网络(GAN)及其代码实现
在GAN网络实战分析中，通常会涉及各种架构，如DCGAN（深度卷积生成对抗网络）、CGAN（条件生成对抗网络）和AC-GAN（辅助分类生成对抗网络）。这些变体增加了条件信息，如类别标签，以生成特定类别的样本。例如，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值