GAN 生成对抗网络笔记

最新推荐文章于 2024-04-14 07:30:00 发布
最新推荐文章于 2024-04-14 07:30:00 发布
阅读量531 收藏 2
点赞数 1
文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44996354/article/details/115413304
版权

本文内容绝大部分出自 台大李宏毅老师。
谢谢老师的悉心讲解。
在这里插入图片描述

GAN的介绍

  • 生成
    在这里插入图片描述
    由 随机噪声向量，生成 图像、文本

Basic Idea of Gan

在这里插入图片描述
在图像生成当中，使用一个vector 来生成一个 高纬度向量（图像）

在这里插入图片描述
其中输入向量的各个维度潜在影响着图像某些风格。 比如 第一维影响头发长度，，倒数第二维度控制头发颜色，最后一维度控制张嘴

在这里插入图片描述
判别器：输入图像，输出标量 ∈ [ 0 , 1 ] \in [0, 1] ∈[0,1] 代表图像质量，数值越大表示越接近真实图像质量

在这里插入图片描述
一开始 生成器生成的图像非常差，判别器的判别，生成器会变强，骗过判别器。 然后判别器再学习如何判别，令自己变强。

训练算法

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

一些GAN训练的例子

  • 随着训练，生成结果逐渐变好，生成器在挖掘从随机噪声生成dataset样本中的分布
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 缓慢改变输入向量，生成图像逐渐发生变化
    gan能够挖掘到向量维度对生成结果的影响，看到改变输入，产生的输出脸的朝向不同
    在这里插入图片描述

结构学习

机器学习是去寻找一个映射函数，
回归： 输出一个标量
分类：输出一个类别 （one hot 向量）
结构学习/预测： 输出一个序列、矩阵、图、树 等
在这里插入图片描述
输出序列
在这里插入图片描述
输出矩阵
在这里插入图片描述

  • 生成器 能否自己进行学习

与分类器正好反过来
在这里插入图片描述

构建一个有监督训练环境
在这里插入图片描述

但是我们无法控制什么向量生成什么图像，以及向量维度和图像内容之间的关系。
利用auto encoder 可以获得编码向量，解码器可以作为生成器
在这里插入图片描述
训练好后 把 decoder分离出来：
在这里插入图片描述
发生了有趣的事情，改变二维输入向量，结果，x1控制了数字，x2控制了角度
在这里插入图片描述
但是当进行差分输入的时候，auto encoder模型只联系到输入到输出的关系，无法感知到输入向量维度与目标的关系。也就是当输入是完全没见过的向量，无法保证输出是合理的
在这里插入图片描述
为了改进，使得解码器输入没见过的向量，输出结果依然合理，在编码器输出引入一些噪声后 进行解码
在这里插入图片描述

但是 Auto encoder结构有一些问题，
自编码器的衡量是输出与目标图像的接近程度，也就是总体像素上的损失，而不是图像看起来是否像是一张合理的图像
在这里插入图片描述
在这里插入图片描述
相比来看，多一个像素没关系，但如果能把多的之后边缘补齐看起来就很好。----- 每个像素点的结果不是最重要的，最重要的是各个部分之间的相对位置等
但 同层神经元一般没有互相照应的能力，都是单独自己输出自己的值。若要解决，则需要更深的网络。
在这里插入图片描述

可视化，用auto encoder 学得的分布。
绿色为目标分布，蓝色为生成的分布
在不同的目标分布之间，依然有很多样本被生成出来
在这里插入图片描述

如何鉴别生成结果才是更好的？ ---- 判别器
好的结果给高分
不好的结果给低分
在这里插入图片描述
卷积已经足够感知不同部分的相对位置
在这里插入图片描述
如何生成结果？ 只使用判别器也是可以的，只要遍历样本空间中所有的样本，找到得分高的
但是解出如下方程 求得最好的x 是非常困难的
于是出现了生成模型，来求解判别器的argmax问题，也就是求得判别器认为好的x们

在这里插入图片描述

判别器的训练
在这里插入图片描述
将真实样本给高分，而偏离真实样本分布的其他样本给低分
在这里插入图片描述

训练过程大概会是这样
在这里插入图片描述
在GAN之前的生成方法：
在这里插入图片描述

对于生成器来说：希望自己能够无限逼近真实样本的分布
对于判别器来说：希望自己能够超高能力判别真实分布和伪造分布之间的差异
在这里插入图片描述

可视化由gan产生的伪造样本分布：
在这里插入图片描述

Conditional Generation by GAN

text to image

  • 传统的监督训练问题
    在这里插入图片描述
    火车有很多， 如果输入火车，而目标是很多不同的火车（有正面，有侧面），网络会倾向于输出所有label的均值，结果可能是很不好的。

  • 使用GAN来解决
    Generator除了 接受一个条件词 train， 还接受一个噪声z，来控制各种不同风格。
    而Discriminator 来判断 图像是否与条件词匹配，图像是否为真实图像，从而指导生成器
    在这里插入图片描述
    训练算法：
    在这里插入图片描述

  • 目前最常见的判别器架构
    检测生成的x的真伪的同时检测条件c是否匹配
    在这里插入图片描述
    也有一些改进的判别器架构。取得了不错的效果
    在这里插入图片描述
    检测生成x的真伪情况，并检测与条件是否匹配，使用两个小网络

  • 条件生成的小例子：
    在这里插入图片描述

  • 生成大图像的例子 stack GAN
    在这里插入图片描述

图像生成图像

在这里插入图片描述

  • 传统的监督策略
    由于同样的输入对应了不同的输出，最终的结果会输出多个不同真实值的均值情况
    在这里插入图片描述
  • 利用GAN 引入了随机变量，能够使得不同的结果得到挖掘
    在这里插入图片描述
  • 对于图像的判别器 有些学者做了只检测若干区域，而不是整张图像
    在这里插入图片描述

生成语音

  • 语音加噪声， 输入噪声 让其输出伴有噪声的语音

在这里插入图片描述

  • 判别器判别生成的语音、噪声 是否匹配在这里插入图片描述

视频生成

  • 预测接下来的一帧时间 视频会发生什么

在这里插入图片描述

在这里插入图片描述

Unsupervised Conditional Generation

风格迁移

没有x与y的一一对应，而是学习如何将x转换到另一个风格下。
在这里插入图片描述

  • 生成器输入一个领域的样本， 生成结果交给判别器

  • 判别器判断样本是否属于目标领域
    在这里插入图片描述

  • 但是容易发生生成器输出结果与输入结果差距过大，与原本图像无关的可能性。
    为了解决这个问题，有如下策略：
    1 用某个预训练模型将原图像与生成图像进行编码，使两者编码尽量接近。
    在这里插入图片描述
    2 在生成结果后面再接一个生成器将生成图转换到原图像
    在这里插入图片描述
    在这里插入图片描述

多个领域互转

  • starGan
    生成器输入 图像和目标领域信号
    判别器：是否真实 and 哪个领域
    在这里插入图片描述
  • 自编码器 解决方案
    问题：无法确定编码后的向量空间是相同的表达在这里插入图片描述
    • 改进1
      共用编码器输出层的一些向量空间 使得输出编码是相同的表达在这里插入图片描述
  • 改进2
    增加一个编码的判别器，判别编码来自哪个domain
    在这里插入图片描述
  • 改进3
    同时做两种风格的互转
    生成再利用
    在这里插入图片描述

Basic Theory behind GAN

  • 假设数据x是一张图像，是一个高纬度向量
    而数据实际上是以一个分部的形式存在的。 我们设为Pdata(x)
    从分布中采样的结果看起来就是很好的图像，而偏离分部的采样看起来就很奇怪。
    而且，data的分布其实只是在高纬度空间当中的非常小的一部分。
    而Generation Model要做的，就是找到data的分布。
    在这里插入图片描述

如何实现

  • 极大似然估计
    在这里插入图片描述
  • 问题
    • 高斯混合模型高斯数量？
    • 样本的分布真的是高斯分布吗？

调整生成器 — 最小化KL散度

  • 经过证明，发现调整Pg参数令在Pg中采样无限逼近Pdata中采样的 极大似然估计，其实就是最小化Pdata和Pg两个分布的KL散度
    在这里插入图片描述

  • generator从一个普通分布，去映射到一个Pg， 使得Pg越接近Pdata越好

    • 其实Pdata的分布一定不是一个高斯模型，而会是一个非常复杂的分布，
    • 甚至是一个高维空间在低维度上的一个流形
    • 接近的形式化就是最小化两个分布在某种散度Div上的值
      在这里插入图片描述

  • 我们并不知道两个分布Pg和Pdata，要如何实现最小化Div散度？

    • 没有分布，用无限多的采样，来代替分布
    • Pdata的采样为真实图像
    • Pg的采样为 噪声出入给Generator的输出
      在这里插入图片描述

  • 如何实现计算两个分布的Div散度？
    使用discriminator来实现

    • 固定G
    • 构建一个目标函数V
    • 进行最大化V
    • 寻找最优的D
      在这里插入图片描述

  • GAN的训练过程

    • D的训练是，固定G，最大化Div散度
    • G的训练是，固定D，最小化Div散度
      在这里插入图片描述

调整判别器 — 最大化JS散度

- 寻找最优的判别器D
- 固定G
- 最大化V  即 最大化散度

在这里插入图片描述

  • 如何找到最优的D令V最大？
    在这里插入图片描述
    在这里插入图片描述
    • 经过计算发现， 最优的D其实就是在最大化两个分布的Js散度
      在这里插入图片描述

f-divergence

  • 衡量两个分布之间的差距
  • KL散度和JS散度都是特例
    在这里插入图片描述
    在这里插入图片描述

可以选择让GAN优化各种不同的散度

  • 不同的散度是解决mode colapse 和 mode dropping的方法
    在这里插入图片描述

Tips for Improving GAN

JS散度的不妥之处

  • 当两个分布之间没有重合的时候JS散度无法衡量两个分布之间的差距
    在这里插入图片描述
  • 当两个样本分布之间没有重合的时候，不论两个分布距离多远，JS散度的结果都是log2，
  • 无法指导生成器生成更好的分布。
    在这里插入图片描述
  • 更形象的
    • sigmoid在低分和高分的斜率太小，计算结果没有梯度，无法更新权重
    • 改进：改为显性的激活
      在这里插入图片描述

WGAN的策略

  • 将优化目标改进 earth mover’s distance
    在这里插入图片描述
  • 可以看出 在样本分布没有重合的时候，earth distance 相比js 散度 仍然能够衡量分布之间的差距
    在这里插入图片描述
  • WGAN的算法
    在这里插入图片描述

BGAN的策略

  • 使用一个自编码器作为判别器D
    • 认为如果能够重建的很好的图像为high quality，重建误差很大的图像为假图像
    • 只需要用real image 去train判别器
    • 一开始就能拥有能力很强的判别器，而不用迭代获得
      在这里插入图片描述
      在这里插入图片描述

Feature Extraction

  • 希望输入的向量中某一个维度能改变生成结果某些内容。
  • 传统的GAN方法，无法实现通过输入向量维度来控制输出。
    即每一个维度对输出有一个明确的影响
    在这里插入图片描述

info GAN

  • 让生成结果能够用分类器预测输入的控制向量
    在这里插入图片描述

  • 第一维控制数字大小（info gan）

  • 在Gan上无明显确切影响
    在这里插入图片描述

  • 第二维度控制字的方向、角度

  • 第三维度改变字体的粗细程度
    在这里插入图片描述

VAE-GAN

BiGAN

Triple GAN

Domain adversarial training

在这里插入图片描述
在这里插入图片描述

Evaluation

主观评价

  • 陈列一大堆图，就说我们的生成结果是最好的

Inception Score

  • 生成的目标的明确性
    • 使用Inception Net
    • 某一个生成的样本输入给inception net后，输出越具有明确类别越好
    • 所有样本输入给inception net后结果进行平均，越平滑越好
      在这里插入图片描述
稀里糊涂林老冷
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GAN噪声的理解
TangXin95的博客
04-04 1446
链接: link.
ICCV 2021 | MG-GAN：多生成器的行人轨迹预测模型（二）
周周周周周大帅的博客
09-24 1282
我们知道说在实际训练中，我们拥有的已配对的数据（c,x）往往是非常少量的，并且D需要做两件事情：既需要和G进行博弈，也就是判别输入的样本是来自真实数据分布还是生成器，还需要预测数据的类标签，也就是输出条件c。中，我们输入一个条件word：c，再输入一个从原始照片中sample出来的分布z，经过generator后，输出一个image：x，我们希望这个x尽可能地符合条件c的描述，并且生成的照片足够清晰；也就是说，按照传入的probs中给定的概率，在相应的位置处进行取样，取样返回的是该位置的整数索引。
生成对抗网络（GAN）工作原理及应用
最新发布
stormsha
04-14 819
生成对抗网络（Generative Adversarial Network，简称GAN）是一种深度学习模型，由Ian Goodfellow于2014年首次提出。GAN由两个主要的神经网络组成：生成器（Generator）和判别器（Discriminator）。这两个网络在训练过程中相互博弈，最终生成器能够生成与真实数据分布相近的虚构数据。总之，GAN作为一种生成模型，通过生成器和判别器之间的对抗学习，能够生成高度逼真的样本，在许多领域都有重要的应用价值。
关于GAN网络的隐空间维度选择问题
大脸萌
10-04 2897
一般来说，我们可以认为图像、文字、音频等数据是分布在低维流形空间上的。 GANs通过generator将隐空间的点映射到数据空间中，那么，隐空间的维数怎么选择呢？这是一个值得研究的问题。这里以图像为例进行分析。 首先，隐空间维数不能太低，太低了容易丢失mode，也会产生mode collapse。也就是说，隐空间的维数有个下界，高于这个下界才有可能避免mode丢失的问题。这个下界就是流
（2019, StyleGAN）用于 GAN 的基于样式的生成器架构
qq_44681809的博客
05-17 693
本文基于风格迁移提出了一个新的生成器，如图 1 所示。该生成器可以在保留高级属性（例如，在人脸上训练时的姿势和身份）的同时，使生成图像产生随机变化（例如，雀斑、头发）。
GAN介绍 - 相关研究课题
刀刀鱼
11-13 1737
GAN介绍 - 介绍 https://blog.csdn.net/sean2100/article/details/83662975 GAN介绍 - 为什么学习生成式模型? https://blog.csdn.net/sean2100/article/details/83681043 GAN介绍 - 生成式模型是如何工作的? GAN与其他模型有什么区别？https://blog.csdn.net/...
【轩说AI】生成模型（2）—— GAN生成对抗网络 + WGAN + Conditional GAN + Cycle GAN
m0_57089390的博客
02-27 454
根据《从概率分布的角度去理解“生成”一张图片》可知，我们想要生成一张图片，就是要想办法生成一个分布函数P(X)，让他尽可能的拟合真实世界中的分布。神经网络NN，即使一个function。对于线性回归问题， 拟合出一条直线，通过样本的feature和label去优化这个Neural Network中的参数，最终使得：输入一个新的(testing&validation)的X（feature），能够输出一个“预测”的Y，并且这个Y要尽可能的“合理”，即从样本中归纳出的经验要能够成功的指导当网络遇见没见过的输入时，
GAN简单了解
读书郎
09-01 376
把生成器看的目标看成是要"以假乱真",判别器的目标是要"明辨真假". 机器学习的模型可大体分为两类，生成模型（Generative Model）和判别模型（Discriminative Model）。判别模型需要输入变量 ，通过某种模型来预测 。生成模型是给定某种隐含信息，来随机产生观测数据。举个简单的例子， 判别模型：给定一张图，判断这张图里的动物是猫还是狗 生成模型：给一系列猫的图片，生成一张新的猫咪（不在数据集里） 对于判别模型，损失函数是容易定义的，因为输出的目标相对简单。但对于生成模型，损失函数的
【DL】第 3 章：生成对抗网络（GAN）
sikh_0529的博客
03-06 1697
Armo Bricks and the Forgers 的故事描述了生成对抗网络 (GAN) 的训练过程。GAN 是两个对手之间的战斗，生成器和鉴别器。生成器尝试将随机噪声转换为看起来好像是从原始数据集中采样的观察结果，而鉴别器则尝试预测观察结果是来自原始数据集还是生成器的伪造品之一。图3.3显示了两个网络的输入和输出示例。图3.3 GAN 中两个网络的输入和输出在过程开始时，生成器输出噪声图像，鉴别器随机预测。
一文看懂GAN
10-11 668
生成对抗网络（Generative Adversarial Network，GAN）自从2014年由Ian Goodfellow提出以来，一直受到了广泛的关注和研究，在短短几年时间内获得了快速的发展，并在许多应用场景中取得了显著的成果。 常用的模型大多可以分为两类，生成模型（Generative Model）和判别模型（Discriminative Model）。前者的输出是“看起来很逼真”的虚假数据，例如合成人脸图片、撰写新闻报道，应当和真实的数据尽可能相似；相比之下，后者一般实现一个从复杂结构数据到简
一文读懂GAN网络
qq_40652148的博客
05-23 1172
12.1  GAN的理论知识GAN主要由两部分构成：generator（生成式模型）和discriminator（判别式模型）：● generator主要是从训练数据中产生相同分布的samples，对于输入x，类别标签y，在生成式模型中估计其联合概率分布；● discriminator 则是判断输入是真实数据还是generator生成的数据，即，估计样本属于某类的条件概率分布。discrimina...
生成对抗网络笔记
11-14
这是阅读最新的多篇经典的GAN论文后写的阅读笔记，对于新入坑GAN的同学可以作为参考^_^
GAN（生成式对抗网络）读书笔记（上）
04-28
GAN（生成式对抗网络）读书笔记（上）
gan_steerability:论生成对抗网络的“可操纵性”
05-10
GAN可操纵性| 关于生成对抗网络的“可操纵性”。 *， *， 先决条件Linux 的Python 3 CPU或NVIDIA GPU + CUDA CuDNN 目录：-绘制图像面板，视频和分布-训练自己的步行管道-一些Jupyter笔记本，是尝试进行自己的转换的...
GAN-generating-faces:使用生成对抗网络生成人脸的新图像
05-01
使用GAN（生成对抗网络）生成新的面Kong图像。 如何运行： 安装点子 在命令行中通过pip安装jupyter笔记本：“ pip3 install jupyter” 克隆此仓库 进入终端中的这个仓库 在终端中运行“ jupyter笔记本”
TensorFlow1.x_GAN_and_CGAN.zip
06-06
Tensorflow GAN 与 CGAN 教程，直达博客Tensorflow 笔记 ⅩⅣ——生成时对抗网络：GAN 与 CGAN，详细解读 GAN 与 CGAN 以及使用TensorFlow1.x 与 TensorFlow2.x 进行实现
CVPR2019 GAN论文分享
CloudCver
09-28 870
更新于2019-9-27 概要 2019CVPR共有12篇论文上榜，其中包含9篇改进GAN网络的文章，有 《Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis》-----MSGAN 这篇文章主要针对cGAN的模型崩塌问题提出了一种正则化的思想，在原目标函数基础上加入一个输出图像之间的距离与噪声输入之间距...
[人工智能-深度学习-63]：生成对抗网络GAN - 图片创作：普通GAN, pix2pix, CycleGAN和pix2pixHD的演变过程
文火冰糖（王文兵）的博客
12-19 2515
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址：https://blog.csdn.net/HiWangWenBing/article/details/122015783 目录 第1章 传统计算机视觉基本原理（图像的建模） 1.1 传统的计算机视觉 1.2 不足 第2章 基于深度学习DNN的计算机视觉的基本原理（图像的判定） 2.1 基于深度学习的计算机视觉DNN 2.2 DNN的不足 第3章 常规生成对抗网络GAN的基本原理（不受控.
如何通过DCGAN实现动漫人物图像的自动生成？
淘系技术
09-03 4728
背景基于生成对抗网络（GAN）的动漫人物生成近年来兴起的动漫产业新技术。传统的GAN模型利用反向传播算法，通过生成器和判别器动态对抗，得到一个目标生成模型。由于训练过程不稳定，网络难以收...
gan生成对抗网络模型
01-19
生成对抗网络（GAN）是一种机器学习模型，由生成器和判别器两个部分组成。生成器试图生成与真实数据相似的样本，而判别器则试图区分生成器生成的样本和真实数据。这两个部分通过对抗训练的方式相互竞争，最终使得生成器能够生成更逼真的样本。 GAN模型的训练过程可以简单描述为以下几个步骤： 1. 生成器接收一个随机噪声向量作为输入，并生成一个样本。 2. 判别器接收生成器生成的样本和真实数据样本，并尝试区分它们。 3. 根据判别器的输出，计算生成器生成的样本与真实数据之间的差异，并更新生成器的参数，使生成器生成的样本更接近真实数据。 4. 再次重复步骤1-3，直到生成器能够生成逼真的样本。 GAN模型的优点是可以生成高质量的样本，而不需要显式地定义样本的分布。它在图像生成、文本生成等任务上取得了很好的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值