深度学习(15): GAN(2)

最新推荐文章于 2024-09-05 10:28:02 发布
最新推荐文章于 2024-09-05 10:28:02 发布
阅读量430 收藏 1
点赞数
文章标签： python 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/112915380
版权
本文深入探讨了生成对抗网络(GAN)的理论基础，包括极大似然估计与KL散度的关系，以及生成器和判别器的工作原理。接着，介绍了fGAN作为GAN的一般框架，并分析了JS散度可能导致的模型塌缩和模式丢失问题。此外，文章还提供了改善GAN性能的建议，如使用LSGAN和WGAN，重点讨论了Wasserstein距离及其优化策略，如权重裁剪和谱范数约束。
摘要由CSDN通过智能技术生成

1、Theory behind GAN

在这里插入图片描述

极大似然估计可以定义函数的参数

使定义的distribution通过调参与真实的分布越接近越好
从pdata中sample一些东西
计算每个样本的likelihood
计算联合概率为似然函数
通过似然函数或对数似然函数对参数求偏导，找到对应最大值的参数

在这里插入图片描述

极大似然估计=极小KL散度

在这里插入图片描述
problem:
在这里插入图片描述
如果只是GMM，那会有很多限制
把它作为一个general的PG，但很难计算它的likelihood

generator

生成器是个网络，网络定义了一个概率分布函数 p g p_g pg​
将一个高斯分布中的若干样本点输入生成器，每个样本点都会生成一个结果，所有的结果集合成一个非常复杂的分布

在这里插入图片描述
使 p g 和 p d a t a p_g和p_data pg​和pd​ata之间的分布的divergence越接近越好

problem：在这里插入图片描述

Discriminator

我们虽然不知道它的distributions是什么样的，但是可以从两个分布分别sample出data
在这里插入图片描述
将 p g 和 p d a t a p_g和p_{data} p

最低0.47元/天 解锁文章
weixin_51182518
关注
对抗网络之平衡生成器和判别器
qq_37342061的博客
11-27 9656
对抗性学习方法的优化问题面临着很大的挑战，如何平衡生成器和判别器的性能就是其中之一。 1、一个具有很高准确率的判别器可能会产生信息量较少的梯度，但是一个弱的判别器也可能会不利于提高生成器的学习能力。 问题1：如何使判别器学习到 使原始数据和生成器的数据分布有很多重叠的数据表征，从而有效地调整判别器的准确率并维持生成器能够带有足够信息量的梯度。 2、 训练WGAN的时候，有几个方面可以调参...
在GAN中使用JS散度评估的问题
Forlogenの解忧杂货铺
03-31 2378
在Martin Arjovsky, Léon Bottou, Towards Principled Methods for Training Generative Adversarial Networks, 2017, arXiv preprint这篇论文中，作者发现在选择不同的epoch时，随着迭代次数的增加，它们的交叉熵都会减小到一个很低的值，同时准确度也都会到达1.0 但是通过JS散度来直...
深度学习与神经网络(十二)—— GAN生成对抗网络 & DCGAN & WGAN(JS divergence & EM/Wassertein Distance & Gradient Penalty)
hxxjxw的博客
06-18 1613
GAN是现在deep learning最火热的方向 学到了x的分布 画家的成长历程 根据画家怎样练习、成长，画出一幅好的作品 来学习怎样用神经网络来逼近一幅优秀的作品 pr的r是real pg是你脑中x的分布 ...
生成对抗网络（GANs）系列：KL散度和JS散度
nbxzkok的专栏
09-29 8171
1.香农信息量、信息熵和交叉熵 只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性...
GAN的统一架构与WGAN
YoungGy的专栏
05-22 5876
GAN是让机器自动生成$P_G$去接近$P_{data}$。算法的关键是衡量分布$P_G,P_{data}$的差异，不同的衡量办法得到的$V(G,D)$不同，但是所有的衡量方法都可以归纳到一个统一的框架中：利用`f-divergence`衡量两个分布差异，利用`Fenchel Conjugate`将两个分布差异的问题转化到GAN的大框架中。 而近段异常流行的WGAN，便是将两个分布的差异用`Earch Mover
深度学习(15): GAN(3)
JJJJJJames的博客
01-21 306
Feature Extraction InfoGAN 常规的GAN只会在某个dimension上表示一个特征，但未必会表示得很清楚。 我们期望看到的是在一个dimension上，特征x变化对于输出的结果变化是很明显的，有规律性的。 what is infoGAN？ 把input的vector分成两个部分 train一个classifier根据生成器的output预测c，可以把这个classifier设定为一个decoder，与generator合起来算作auto-encoder。但与常规的auto-en
【源代码】深度学习入门：基于Python的理论与实现.zip
02-26
从简单的线性层到复杂的卷积神经网络（CNN）、循环神经网络（RNN）以及生成对抗网络（GAN），每一步都将带你更接近深度学习的奥秘。同时，这个资源还可能涵盖了模型保存和加载、模型迁移学习、分布式训练等进阶主题...
深度学习与图像生成：GAN的应用与实现.md
08-18
通过本讲义的学习，您将深入了解生成对抗网络（GAN）的原理、应用和训练方法，为您在图像生成领域的学习和研究提供坚实的基础。希望您能在深度学习和人工智能的领域取得更多的成就！
基于深度学习的StyleGAN2合成人脸识别系统.pdf
08-18
基于深度学习的StyleGAN2合成人脸识别系统 本文主要研究基于深度学习的StyleGAN2合成人脸识别系统，以解决 StyleGAN2 合成人脸图片识别问题。StyleGAN2 合成人脸识别系统专门针对 StyleGAN2 合成人脸进行识别，可以...
使用PyTorch进行深度学习：“使用PyTorch进行深度学习：零到GAN”
02-12
“使用PyTorch进行深度学习：零到GAN”。 本课程由机器学习的项目管理和协作平台Jovian.ml教授。 教学大纲 该课程分为6个模块，将通过视频讲座和交互式Jupyter笔记本电脑进行为期6周的教学。 每个讲座将持续2个小时...
深度学习最强资源推荐：一文看尽 GAN 的前世今生.pdf
04-19
在深度学习领域，GAN是一种具有革命性意义的模型，由Ian Goodfellow在2014年提出。GAN由两个模型组成：生成器（Generator）和判别器（Discriminator），它们相互竞争，从而产生高质量的模拟数据。 生成器负责根据...
深度学习 lab14_2 WGAN学习笔记(KL JS divergence, improved WGAN)
weixin_38699659的博客
12-05 330
Concept KL JS divergence https://www.cnblogs.com/smuxiaolei/p/7400923.html https://www.bilibili.com/video/av19193502?from=search&seid=15708729020988943650 kl divergence 使用entropy公式计算 （1）以八种天气情况作为...
GAN的理论基础之KL散度与JS散度
yuanfang_hi的博客
01-23 4817
在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。 香农信息量、信息熵 香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 当对数的底数为2时，香农信息量的单位为比特 香农信息量描述的是随机变量在某一点...
从散度(divergence)角度理解GAN
abril4416的博客
03-14 1406
GAN和散度(divergence)的联系 根据之前的定义(可以参考之前的文章：GAN（对抗生成网络）的数学原理及基本算法)，discriminator采用最大似然的方法评估生成和原样本的差异性的本质是衡量两者的JS散度： V=−2log2+2JSD(Pdata∣∣PG)V = -2log2 + 2JSD(P_{data}||P_G)V=−2log2+2JSD(Pdata​∣∣PG​)但是其实衡量...
交叉熵、KL散度、JS散度
songbinxu的博客
10-08 971
信息量 符号xxx的信息量定义为xxx出现概率的倒数，单位比特 I(x)=log⁡1P(x)I(x)=\log \frac{1}{P(x)}I(x)=logP(x)1​ 熵 平均信息量 H(P)=∑P(x)log⁡1P(x)H(P)=\sum P(x)\log \frac{1}{P(x)}H(P)=∑P(x)logP(x)1​ 交叉熵 H(P,Q)=∑P(x)log⁡1Q(x)H(P,Q)=\su...
KL散度、JS散度以及交叉熵对比
敲代码的quant的博客
06-07 3万+
在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。 KL散度、JS散度和交叉熵 三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。 对于概率分布P(x)和Q(x) 1）KL散度（K...
理解JS散度(Jensen–Shannon divergence)
热门推荐
weixin_44441131的博客
05-01 7万+
文章目录1.KL散度1.1 KL散度的性质1.2 KL散度的问题即JS散度的引出2. JS散度为什么会出现两个分布没有重叠的现象参考文献 1.KL散度 用来衡量两个分布之间的差异，等于一个交叉熵减去一个信息熵（交叉熵损失函数的由来） 1.1 KL散度的性质 非负性（用Jenson‘s inequality 证明） 不对称性，即KL(P||Q)≠KL(Q||P) 1.2 KL散度的问题即J...
【python】—— Python爬虫实战：爬取珠海市2011-2023年天气数据并保存为CSV文件
最新发布
weixin_63106307的博客
09-05 1200
本文将介绍如何使用Python编写一个简单的爬虫程序，以爬取珠海市2011年至2023年的天气数据，并将这些数据保存为CSV文件。
深度学习综述：GAN与DCGAN初探
GAN和DCGAN是深度学习领域的重要组成部分，特别是在图像生成、文本到图像合成、视频预测等领域有着广泛应用。通过不断的迭代和改进，这些模型已经推动了生成模型的发展，为人工智能带来了许多创新和突破。在毕业设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值