Generative Adversarial Nets_GAN_paperReading

最新推荐文章于 2024-01-22 16:25:15 发布
最新推荐文章于 2024-01-22 16:25:15 发布
阅读量438 收藏
点赞数
分类专栏： GAN 文章标签： GAN 生成对抗网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36204845/article/details/89855016
版权

Generative Adversarial Nets

文章目录

Related work/Motivation

deep Boltzmann machine

基本上都有难以解决的似然函数，需要对似然梯度进行大量的近似（推动了generative machines model的发展）

Generative stochastic networks （GSN）

用bp训练而不是用大量近似

GAN通过舍弃GSN中的马尔科夫链延伸了generative machine的理念

variational autoen coders (VAEs)

VAE也给可微的生成网络配备了一个神经网络

不像GAN，VAE的第二个网络是一个用于近似推理的识别模型。GAN需要通过可见单元进行微分，所以不能对离散数据进行建模；VAE需要通过隐藏单元进行微分，所以不能有离散潜变量。

Noise-contrastive estimation (NCE)

NCE包括通过学习（可以使模型更好的从固定噪声分布中判别数据）的权重来训练生成模型。NCE的关键限制在于，判别器是用噪声分布和模型分布的概率密度的比值定义的，这就要求对两个概率密度分别进行评估和bp。

Predictability minimization PM

PM也用了两个神经网络互相竞争的思想，在PM中，每个隐藏单元被训练成与第二个网络的输出不同。在给定所有其他隐藏单元的值的时候，这个隐藏单元的值被预测出来。

  1. GAN中，两个网络的竞争是唯一训练标准；PM只是鼓励隐藏单元统计上独立的正则器，竞争并不是主要训练标准。
  2. GAN中，一个网络产生丰富高维的向量，这个向量被用于另一个网络的输入，并且力图使判别器不知道如何处理（不知道输入数据的真假）；在PM中，两个网络的输出被比较，一个使得输出相似，一个使得输出变得不同，问题的最终输出是个标量。
  3. GAN是一个最小最大化问题，有一个一边想最大化一边想最小化的值函数。PM是一个优化问题，使得目标函数最小化。

adversarial examples

对抗样本是对分类网络的输入使用基于梯度的优化得到的样本，目的是寻找与数据相似但是会被误分类的样本。与GAN有所不同，因为对抗样本不是训练生成模型的工具，而是一种分析工具（比如分析出图片上人类所无法察觉的细小不同）。对抗样本的存在暗示GAN的训练是低效的，可能使得判别器自信地去识别一个类，但是却没有很好地模拟人来对于这个类的感知属性。

Model

公式

生成器的分布pg

数据x

先验的噪声变量pz(z)

对数据空间的映射G(z;θg) ,G 是一个（被一个拥有参数θg的多层感知机表示的）可微函数

D(x;θd) 输出一个标量

D(x)表示x来自于数据而不是来自于pg 的可能性在这里插入图片描述
以生成图片为例，

G(z)表示生成网络生成的图片

D(x) 是指网络判断真实图片是否真实的概率（越接近于1越好）

D(G(z))是指网络判断生成器的图片是否真实的概率

G的目的是使得D(G(z))越大越好，D(G(z))越大，V(D,G)会变小，所以前面是minG。

D的目的是使得D(x)越大越好，然后为了尽可能判别出生成出来的图片，所以D(G(z))越小越好，V(D,G)会变大，所以前面是maxD。

训练过程图

在这里插入图片描述

D 蓝色虚线；G 绿色实线；数据分布 黑色点。

状态a，生成器生成饿分布和真实分布区别较大，而且判别器判别出的样本概率不是很稳定。

状态b，先训练判别器，此时判别器判别样本表现得非常好。

状态c，训练生成器G，使得其逼近真实样本分布。

状态d，生成器G分布模拟真实样本分布，判别器D一直输出0.5

伪代码

在这里插入图片描述
先训练k次判别器D，再训练一次生成器G。

训练D时，加上梯度，因为D希望V(D,G)越大越好。

相比之下，训练G时，V(D,G)越小越好，所以是减去梯度。

公式推导

  1. 全局最优时 pg =pdata
  3. 在这里插入图片描述在这里插入图片描述

公式推导没看懂= =?

Experiment

数据集： MNIST，Toronto Face Database（TFD），CIFAR-10

Parzen窗概率密度估计

计算生成样本和最终真实样本的似然值

Discussion

disadvantages

  1. 没有pg(x)的显式表示
  2. D和G在训练中要同步良好
  3. 它很难去学习生成离散的数据,就像文本

advantages

  1. 不用马尔科夫链
  2. 半监督方式训练分类器

Reference

原论文链接

生成网络（GAN）

通俗理解生成对抗网络GAN

http://kissg.me/2017/11/05/papernotes_44/

GAN公式原理推导

DaddyJin
关注
专栏目录
深度学习：生成式对抗网络，让机器在博弈中实现“自我成长”
xuyz24757的博客
05-24 7048
      点击阅读原文          深度神经网络在判别模型领域的进步远比在生成模型领域进步快得多，其主要原因就在于相对于生成式模型来说，判别模型目标清晰、逻辑相对简单，实现起来容易。       用通俗的比喻来说，判别模型相当于是来料加工，即对模型喂入一系列数据，然后由模型判别出相对应的结果，典型代表就是分类器模型。而生成模型相当于是一座生产创作工厂，其需要具备一定的创造能力，尽管在现阶段...
谈谈Adversarial Autoencoders
热门推荐
加勒比海鲜王
09-04 1万+
保留初心，砥砺前行 最近看了Adversarial Autoencoders（以下简称AAE）这篇paper，就随便写几句笔记。paper链接，点我1. 概述：GAN和VAE是近年来很火的生成模型（关于GAN，我之前写过几篇了，需要的话点击文末的相关链接即可），对于这两个模型的研究层出不穷，变体无数，而将这两者结合也是一种优秀的思路。GAN说白了就是对抗，VAE就是一种Autoencoders，而本
GAN论文精读以及基础讲解
qq_45138078的博客
12-18 2072
笔者最近在学习GAN，阅读到了一篇经典之作《Generative Adversarial Nets》，在学习完李沐老师的课程之后做出的一些笔记和总结，方便大家对GAN有一个更好的了解。
GAN论文逐段精读【论文精读】
qq_42014059的博客
03-29 1009
1、标题 + 作者 近 5 年，GAN 上头条次数很多，Reddit 里 GAN 很火 thispersondoesnotexist.com 加州法令：禁止换脸、禁止对政治人物骚操作，说未讲过的话 GAN: 两个网络相互对抗 generative: ML模型分 discriminative(AlexNet, ResNet, Transformer) 和 generative adversarial: 对抗 nets: networks 简写 非 native speaker 不建议...
GAN：Generative Adversarial Nets
qq_45844265的博客
01-22 920
从生成器G的角度来看，生成器G希望真实图像x和生成图像G(z)区分不开，即希望虚假数据G(z)可以尽可能骗过判别器D，也就是希望D(G(z))尽可能大，1-D(G(z)就更小，log(1-D(G(z))更小，也就是V(D,G)整体尽可能小，即对G取min V(D,G)。若D(x)是非常完美的判别器，D(x)=1，则V(D,G)=0，而若有误分类时，D(x)<1时，log(D(x))和log(1-D(G(z))都会是负值。G(z)表示生成图像，D(x)表示对真实图像的判别，D(G(x))表对生成图像的判别。
深度学习Generative Adversarial Nets（GAN）生成对抗网络-组会汇报ppt
11-13
生成对抗网络（Generative Adversarial Networks，简称GANs）是由Goodfellow等人在2014年提出的一种新型机器学习框架，它在人工智能领域引起了广泛的关注。GANs的核心在于通过两个神经网络——生成器（Generator）和...
GANs简述 Generative Adversarial Nets
tamchikit的博客
03-31 3540
GANs生成对抗网络简述
李沐精读论文：GAN《Generative Adversarial Nets》by Ian J. Goodfellow
iwill323的博客
12-15 2425
李沐精读论文——GAN 《Generative Adversarial Nets》by Ian J. Goodfellow
【AI-CPS】【生成对抗性网络】 GAN开山之作及最新综述
产业智能官
01-01 1455
1论文: Generative Adversarial Nets本文是 GAN 的开山之作.GAN 由两个神经网络组成, 一为生成器 Generator, 一为判别器 Discriminator. 生成器用于捕捉(真实)数据的分布; 判别器用于估计(输入它的)样本是真实数据的概率, 从而能够指导生成器的训练.GAN 存在唯一的解, 即生成器能恢复真实的数据分布, 判别器的输出处处为 1/2对于以下
从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念（文字版）
omnispace的博客
09-02 2637
前段时间我受极视角邀请，在斗鱼上直播分享有关GAN的话题。考虑到现在网上关于GAN的文章、视频都已经非常多了，所以我就故意选择了一个之前没有什么人讲过的主题：LSTM之父Schmidhuber与GAN之间的恩怨纠葛。其实这件事在英文网上传播得还挺广，而且除了八卦之外也有一些严肃的学术讨论，可惜相关的中文信息寥寥，不过这样倒正好给我一个机会来给大家介绍一些新内容。 其实相比视频直播我还是更喜欢
Adversarial Autoencoders
Milkha的博客
12-28 415
\begin{center} \begin{tabular}{rp{16cm}lp{20cm}}%{rl} % after \\: \hline or \cline{col1-col2} \cline{col3-col4} ... 论文地址：& \href{https://arxiv.org/abs/1511.05644}{https://arxiv.org/abs/1511.05644} \\ 来源：& ICLR, 2016 \\ 作者：& Alireza...
c#实现俄罗斯方块，面向对象实现
09-15
俄罗斯方块（Tetris）是一款经典的益智游戏，由俄罗斯程序员阿列克谢·帕基特诺夫于1984年开发。游戏的主要目标是通过旋转和移动不同形状的方块（称为“砖块”或“Tetrominoes”），将它们填充到屏幕底部的水平行中。当一行被完全填满时，该行会消失，玩家将获得积分。 游戏特点： 砖块形状：游戏中有七种不同形状的砖块，每种砖块由四个方块组成。 下落机制：砖块从屏幕顶部逐渐下落，玩家需要快速做出决策。 得分系统：消除的行越多，得分越高，连续消除多行会获得额外分数。 难度递增：随着游戏进行，砖块下落的速度会逐渐加快，增加了游戏的挑战性。 文化影响： 俄罗斯方块不仅在游戏界取得了巨大的成功，还成为了流行文化的一部分，影响了许多后续的游戏设计。它的简单性和上瘾性使其成为了历史上最畅销的电子游戏之一。 版本与平台： 自发布以来，俄罗斯方块已经在多个平台上推出，包括家用游戏机、电脑、手机等，形成了众多不同的版本和变种。
5G网络优化案例：关于解决诺基亚5G 700M站点小区闪断问题解决.pdf
09-15
这份文件是关于解决诺基亚5G 700M站点小区闪断问题的详细案例报告，主要内容和关键要点如下： 问题背景与初步分析： 问题描述：随着5G 700M网络建设的推进，诺基亚700M现网出现较多误码告警和小区闪断问题，故障比例明显高于其他厂家站点。 初步定位：通过归类法分析，发现绝大部分误码问题发生在烽火单芯双向光模块小区，占比高达95.65%。 故障根因深入探究： 光模块适配问题：初步认为烽火单纤双向光模块存在问题，但更换后问题依旧，进一步分析为光模块与诺基亚设备的适配问题。 深入测试与定位：选取5个长期误码小区进行深入分析，与烽火厂家合作对光模块进行程序升级，问题得到初步解决。 AUTOBYPASS机制分析： 机制介绍：烽火光模块采用25G模块速率兼容10G，并开启AUTOBYPASS（CPR自动旁路模式）功能。 影响分析：AUTOBYPASS机制与诺基亚设备不适配，导致交互失败和误码产生。关闭AUTOBYPASS后，CDR时钟校验和恢复周期缩短，交互频繁，误码问题消失。 解决方案与实施： 解决方案：针对所有使用此类光模块的诺基亚站点，通过优化升级烽火光模块，关闭AUTOBYPASS功
在线请假管理系统.zip
09-15
这是一个基于Python Flask的Web应用程序，采用Bulma uI框架和Postgresql数据库，用于管理和处理员工的请假事宜。用户可以通过这个系统创建安全的用户账户并登录，员工可以提交请假申请等待上级审批，并查看历史请假记录。经理可以审批或拒绝员工的请假申请，并查看团队的请假记录。此外，管理员还可以查看所有员工信息，添加新员工并分配经理，编辑和删除员工信息。该项目在heroku上托管，提供在线服务。安装步骤包括克隆项目、创建虚拟环境、激活环境并安装依赖项等。还提供了数据库迁移和初始化、运行应用程序以及数据重置等实用工具命令。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.文md件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
performance-timing.js利用HTML5的navigation_timing_API_performance
最新发布
09-15
performance-timing.js利用HTML5的navigation_timing_API_performance-timing
生成对抗网络基础：Goodfellow的Generative Adversarial Nets框架
"生成对抗网络（Generative Adversarial Networks，GANs）是由Ian J. Goodfellow等人在2014年提出的创新性深度学习框架，该框架通过一个对抗过程来估计生成模型，同时训练两个模型：一个生成模型G，用于捕捉数据分布...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值