生成式对抗网络

本文深入探讨了生成式对抗网络(GAN),包括其作为生成器的网络结构,基本思想,理论细节如Divergence计算和Discriminator训练,以及Wasserstein距离在解决GAN训练中的作用。此外,还讨论了GAN在未标注数据学习和文本意思转换中的应用,以及与其他生成模型如PixelRNN、VAE和Flow-based Model的比较。
摘要由CSDN通过智能技术生成

一、Network as Generator

在这里插入图片描述

  • 对z有个限制,必须够简单,能够sample
  • 输出是一个分布

1、为什么要distribution?

在这里插入图片描述

  • 如果没有distribution这个机器可能输出turn right 也有可能输出turn left,或者同时向左向右转
  • 处理这个问题就是让机器输出是有机率的
    在这里插入图片描述
  • 当任务需要创造力时,需要用distribution,举例:
    在这里插入图片描述

二、Generative Adversarial Network(GAN)

1、Unconditional generation

以生成二次元人物的脸为例
在这里插入图片描述

  • 二次元人物的脸就是一个非常高维的向量

(1)Discriminator辨识器

在这里插入图片描述

  • Discriminator中的神经网络可以选择CNN、Transformer

(2)Basic Idea of GAN

在这里插入图片描述
在这里插入图片描述

  • Generator和Discriminator是一起不断进化的,Generator产生图片,Discriminator进行辨别,从而产生越来越接近真实的图片,所以叫生成对抗网络

(3)Generator VS Discriminator

  • 第一步:初始化G和D,先固定G,更新D。因为现在G中的参数是随机初始的,所以生成的图片很乱,根据真正的二次元人物头像和产生的二次元人物头像去训练D,目的是为了发现真正图片和生成图片的差异,可以当作分类问题也可以是回归问题
    在这里插入图片描述
  • 第二步:固定D,更新G。G训练目标是使D产生的分数更高,即更加接近真实图片。将G的网络和D的网络直接连起来,只调整G的参数
    在这里插入图片描述
  • 反复训练G和D
    在这里插入图片描述

三、GAN的理论

在这里插入图片描述

1、Divergence怎么计算

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值