深度学习(15): GAN(2)

最新推荐文章于 2022-06-28 18:46:22 发布
最新推荐文章于 2022-06-28 18:46:22 发布
阅读量432 收藏 1
点赞数
文章标签： python 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/112915380
版权
本文深入探讨了生成对抗网络(GAN)的理论基础，包括极大似然估计与KL散度的关系，以及生成器和判别器的工作原理。接着，介绍了fGAN作为GAN的一般框架，并分析了JS散度可能导致的模型塌缩和模式丢失问题。此外，文章还提供了改善GAN性能的建议，如使用LSGAN和WGAN，重点讨论了Wasserstein距离及其优化策略，如权重裁剪和谱范数约束。
摘要由CSDN通过智能技术生成

1、Theory behind GAN

在这里插入图片描述

极大似然估计可以定义函数的参数

使定义的distribution通过调参与真实的分布越接近越好
从pdata中sample一些东西
计算每个样本的likelihood
计算联合概率为似然函数
通过似然函数或对数似然函数对参数求偏导，找到对应最大值的参数

在这里插入图片描述

极大似然估计=极小KL散度

在这里插入图片描述
problem:
在这里插入图片描述
如果只是GMM，那会有很多限制
把它作为一个general的PG，但很难计算它的likelihood

generator

生成器是个网络，网络定义了一个概率分布函数 p g p_g pg​
将一个高斯分布中的若干样本点输入生成器，每个样本点都会生成一个结果，所有的结果集合成一个非常复杂的分布

在这里插入图片描述
使 p g 和 p d a t a p_g和p_data pg​和pd​ata之间的分布的divergence越接近越好

problem：在这里插入图片描述

Discriminator

我们虽然不知道它的distributions是什么样的，但是可以从两个分布分别sample出data
在这里插入图片描述
将 p g 和 p d a t a p_g和p_{data} p

最低0.47元/天 解锁文章
weixin_51182518
关注
对抗网络之平衡生成器和判别器
qq_37342061的博客
11-27 9658
对抗性学习方法的优化问题面临着很大的挑战，如何平衡生成器和判别器的性能就是其中之一。 1、一个具有很高准确率的判别器可能会产生信息量较少的梯度，但是一个弱的判别器也可能会不利于提高生成器的学习能力。 问题1：如何使判别器学习到 使原始数据和生成器的数据分布有很多重叠的数据表征，从而有效地调整判别器的准确率并维持生成器能够带有足够信息量的梯度。 2、 训练WGAN的时候，有几个方面可以调参...
在GAN中使用JS散度评估的问题
Forlogenの解忧杂货铺
03-31 2379
在Martin Arjovsky, Léon Bottou, Towards Principled Methods for Training Generative Adversarial Networks, 2017, arXiv preprint这篇论文中，作者发现在选择不同的epoch时，随着迭代次数的增加，它们的交叉熵都会减小到一个很低的值，同时准确度也都会到达1.0 但是通过JS散度来直...
深度学习与神经网络(十二)—— GAN生成对抗网络 & DCGAN & WGAN(JS divergence & EM/Wassertein Distance & Gradient Penalty)
hxxjxw的博客
06-18 1618
GAN是现在deep learning最火热的方向 学到了x的分布 画家的成长历程 根据画家怎样练习、成长，画出一幅好的作品 来学习怎样用神经网络来逼近一幅优秀的作品 pr的r是real pg是你脑中x的分布 ...
生成对抗网络（GANs）系列：KL散度和JS散度
nbxzkok的专栏
09-29 8173
1.香农信息量、信息熵和交叉熵 只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性...
GAN的统一架构与WGAN
YoungGy的专栏
05-22 5877
GAN是让机器自动生成$P_G$去接近$P_{data}$。算法的关键是衡量分布$P_G,P_{data}$的差异，不同的衡量办法得到的$V(G,D)$不同，但是所有的衡量方法都可以归纳到一个统一的框架中：利用`f-divergence`衡量两个分布差异，利用`Fenchel Conjugate`将两个分布差异的问题转化到GAN的大框架中。 而近段异常流行的WGAN，便是将两个分布的差异用`Earch Mover
【源代码】深度学习入门：基于Python的理论与实现.zip
02-26
从简单的线性层到复杂的卷积神经网络（CNN）、循环神经网络（RNN）以及生成对抗网络（GAN），每一步都将带你更接近深度学习的奥秘。同时，这个资源还可能涵盖了模型保存和加载、模型迁移学习、分布式训练等进阶主题...
深度学习与图像生成：GAN的应用与实现.md
最新发布
08-18
通过本讲义的学习，您将深入了解生成对抗网络（GAN）的原理、应用和训练方法，为您在图像生成领域的学习和研究提供坚实的基础。希望您能在深度学习和人工智能的领域取得更多的成就！
基于深度学习的StyleGAN2合成人脸识别系统.pdf
08-18
基于深度学习的StyleGAN2合成人脸识别系统 本文主要研究基于深度学习的StyleGAN2合成人脸识别系统，以解决 StyleGAN2 合成人脸图片识别问题。StyleGAN2 合成人脸识别系统专门针对 StyleGAN2 合成人脸进行识别，可以...
使用PyTorch进行深度学习：“使用PyTorch进行深度学习：零到GAN”
02-12
“使用PyTorch进行深度学习：零到GAN”。 本课程由机器学习的项目管理和协作平台Jovian.ml教授。 教学大纲 该课程分为6个模块，将通过视频讲座和交互式Jupyter笔记本电脑进行为期6周的教学。 每个讲座将持续2个小时...
深度学习最强资源推荐：一文看尽 GAN 的前世今生.pdf
04-19
在深度学习领域，GAN是一种具有革命性意义的模型，由Ian Goodfellow在2014年提出。GAN由两个模型组成：生成器（Generator）和判别器（Discriminator），它们相互竞争，从而产生高质量的模拟数据。 生成器负责根据...
深度学习 lab14_2 WGAN学习笔记(KL JS divergence, improved WGAN)
weixin_38699659的博客
12-05 331
Concept KL JS divergence https://www.cnblogs.com/smuxiaolei/p/7400923.html https://www.bilibili.com/video/av19193502?from=search&seid=15708729020988943650 kl divergence 使用entropy公式计算 （1）以八种天气情况作为...
GAN的理论基础之KL散度与JS散度
yuanfang_hi的博客
01-23 4826
在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。 香农信息量、信息熵 香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 当对数的底数为2时，香农信息量的单位为比特 香农信息量描述的是随机变量在某一点...
从散度(divergence)角度理解GAN
abril4416的博客
03-14 1412
GAN和散度(divergence)的联系 根据之前的定义(可以参考之前的文章：GAN（对抗生成网络）的数学原理及基本算法)，discriminator采用最大似然的方法评估生成和原样本的差异性的本质是衡量两者的JS散度： V=−2log2+2JSD(Pdata∣∣PG)V = -2log2 + 2JSD(P_{data}||P_G)V=−2log2+2JSD(Pdata​∣∣PG​)但是其实衡量...
交叉熵、KL散度、JS散度
songbinxu的博客
10-08 971
信息量 符号xxx的信息量定义为xxx出现概率的倒数，单位比特 I(x)=log⁡1P(x)I(x)=\log \frac{1}{P(x)}I(x)=logP(x)1​ 熵 平均信息量 H(P)=∑P(x)log⁡1P(x)H(P)=\sum P(x)\log \frac{1}{P(x)}H(P)=∑P(x)logP(x)1​ 交叉熵 H(P,Q)=∑P(x)log⁡1Q(x)H(P,Q)=\su...
KL散度、JS散度以及交叉熵对比
敲代码的quant的博客
06-07 3万+
在看论文《Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection》时，文中提到了这三种方法来比较时间序列中不同区域概率分布的差异。 KL散度、JS散度和交叉熵 三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。 对于概率分布P(x)和Q(x) 1）KL散度（K...
理解JS散度(Jensen–Shannon divergence)
热门推荐
weixin_44441131的博客
05-01 7万+
文章目录1.KL散度1.1 KL散度的性质1.2 KL散度的问题即JS散度的引出2. JS散度为什么会出现两个分布没有重叠的现象参考文献 1.KL散度 用来衡量两个分布之间的差异，等于一个交叉熵减去一个信息熵（交叉熵损失函数的由来） 1.1 KL散度的性质 非负性（用Jenson‘s inequality 证明） 不对称性，即KL(P||Q)≠KL(Q||P) 1.2 KL散度的问题即J...
Wasserstein距离（最优传输距离：
weixin_44862361的博客
06-28 2万+
wasserstein距离
GAN——LSGANs（最小二乘GAN）
CodeTutor
03-07 2万+
LSGANs基本思想 LSGANs的损失函数表达式 模型结构 实验LSGANs基本思想LSGANs的英文全称是Least Squares GANs。这篇文章针对的是标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失，而且这一个改变同时解决了两个缺陷。为什么最小二乘损失可以提高生成图片质量？我们知道，GANs包含两个部分：判别器
GAN --- > 基础
chencas的博客
12-14 359
背景 GAN全名（Generative Adversarial Nets），即生成对抗网络。它是在什么背景下出现，为了解决什么呢？我们知道在深度学习领域中，判别模型可以利用反向传播算法等来进行求解，也即从建模，到最终的分类预测均能够顺利地实施并取到不错的效果； 但在深度学习中，生成模型常用的极大似然估计等，通常对其难以进行有效的概率计算，并且也难以利用在生成的中间内容以进行有效地学习。 基于上述在...
深度学习综述：GAN与DCGAN初探
GAN和DCGAN是深度学习领域的重要组成部分，特别是在图像生成、文本到图像合成、视频预测等领域有着广泛应用。通过不断的迭代和改进，这些模型已经推动了生成模型的发展，为人工智能带来了许多创新和突破。在毕业设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值