GAN的理论基础之KL散度与JS散度

最新推荐文章于 2022-12-12 19:13:51 发布
最新推荐文章于 2022-12-12 19:13:51 发布
阅读量4.7k 收藏 14
点赞数 3
分类专栏： 深度学习 文章标签： KL散度 信息熵  JS散度   交叉熵  GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanfang_hai/article/details/86604807
版权

在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。

香农信息量、信息熵

香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小

                                                                          

当对数的底数为2时，香农信息量的单位为比特

香农信息量描述的是随机变量在某一点处的信息量，而衡量随机变量在整个样本空间的信息量，就需要用随机变量X的信息熵，可以将信息熵理解为是香农信息量的数学期望，即P(x)加权求和，因此可以将信息熵理解为消除随机变量不确定性所需的总体信息量的大小，熵越大，随机变量的不确定性就越大，数学定义如下：

                                                  

交叉熵

假设用q(x)来拟合p(x)的概率分布，交叉熵用来描述p和q的相似性，表示在给定的真实分布下，使用非真实分布用来消除系统不确定性所需付出的努力的大

最低0.47元/天 解锁文章
yuan学习之路
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GAN学习笔记——KL散度、交叉熵、JS散度
程序媛的自学笔记
04-12 3128
首先，我们知道， 熵 是用来量化数据中含有的信息量的，其计算公式为： H=−∑i=1Np(xi)⋅log⁡p(xi)H=-\sum_{i=1}^{N}p(x_{i})\cdot \log p(x_{i})H=−i=1∑N​p(xi​)⋅logp(xi​) 1）KL散度（Kullback–Leibler divergence） 又称KL距离，相对熵，用来比较两个概率分布的接近程度。 假设 p(x)...
KL_D:Kullback-Leibler 散度-matlab开发
05-29
总的来说，`KL_D.m` 文件提供了在 MATLAB 中计算 Kullback-Leibler 散度的功能，这对于理解和比较不同概率分布或进行信息理论相关的研究非常有帮助。通过使用这个工具，用户可以更深入地分析和建模数据。
GAN学习笔记-KL散度(Kullback-Leibler Divergence)、JS散度(Jensen–Shannon divergence)、Wasserstein Distance
ssshyeong的博客
06-07 2018
本篇文章主要介绍了KL散度(Kullback-Leibler Divergence)、JS散度(Jensen–Shannon divergence)、Wasserstein Distance
KL散度的理解（GAN网络的优化）
aicuo0859的博客
07-10 929
原文地址Count Bayesie 这篇文章是博客Count Bayesie上的文章Kullback-Leibler Divergence Explained 的学习笔记，原文对 KL散度 的概念诠释得非常清晰易懂，建议阅读 相对熵，又称KL散度( Kullback–Leibler divergence)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，...
生成对抗网络（GANs）系列：KL散度和JS散度
nbxzkok的专栏
09-29 8133
1.香农信息量、信息熵和交叉熵 只考虑连续型随机变量的情况。设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，随机变量X在x处的香农信息量定义为： 其中对数以2为底，这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件“中国足球进不了世界杯”不需要多少信息量（比如要不要多观察几场球赛的表现）就可以消除不确定性...
GAN的理论浅析（极大似然概率和KL散度）
weixin_39588448的博客
02-23 983
GAN有两大部分组成，一个是Generator，一个是Discriminator组成，Generator用于生成数据，Disrciminator用于鉴别生成数据的好坏。 我们希望GAN找到一个数据集的真实概率分布 那么什么是数据集的真实概率分布，好比兔子生活在树林里，当兔子只有一只的时候，它可能在树林的任何一个地方生活，当这只兔子繁衍足够多的兔子时候，这一个兔子家庭会倾向与在森林的一个固定...
GAN和VAEs关于KL散度的比较
weixin_43698821的博客
12-01 1178
Gan的优化目标是达到纳什均衡（为了使损失函数达到最优，生成器与判别器均不会单独改变而是互相对抗），从而尽可能准确的恢复P(data), variational autoEncoder方法通常能够获得很好的似然，但生成低质量的样本。GAN能生成更好的样本，但跟FVBNs,VAEs比起来,更难优化。 GAN能生成更真实的样本是因为GAN最小化Jensen-Shannon divergence， 而...
GAN原理再解析之MMGAN与NSGAN1
08-03
GAN原理再解析之MMGAN与NSGAN GAN（Generative Adversarial Networks，生成对抗网络）是一种深度学习算法，通过对抗训练，生成器和判别器之间的博弈来生成新的样本。MMGAN（Minimax GAN）和NSGAN（Non-saturating ...
标准GAN的公式推导
12-10
里面包含了对抗生成网络的提出，推导和部分实验，从数学理论的角度出发从KL散度到JS散度再到目标网络的公式推导。
41.生成式对抗网络（GAN）基础 - 知乎1
08-03
3. **最大似然估计与KL散度** 在概率建模中，最大似然估计是一种常见的参数估计方法，它寻找使训练数据似然性最大的模型参数。在GANs中，我们希望找到一个生成器G，使得其生成的数据分布与真实数据分布尽可能接近。...
双判别器生成对抗网络图像的超分辨率重建方法
02-13
该网络在生成式对抗网络(GAN)的基础上增加一个判别器,将Kullback-Leibler(KL)和反向KL散度组合成一个统一的目标函数来训练两个判别器,利用这两种散度的互补统计特性,能在多模式下分散预估计密度,从而避免重建过程中...
GAN里面的KL散度和极大似然关系
Xunuo1995的博客
09-16 327
希望找到一个数据集的真实概率分布 现在，并不知道这个分布P_{data}(x)的数学式子是什么样的，但是可以从这个分布中采样，当收集到一组高质量的图片作为数据集的时候就是从这个真实的分布中采样。其实也就是极大似然估计啊~ 于是现在有了一笔从P_{data}(x)中采样的数据 然后，希望通过神经网络生成一个概率分布 Pdata(x; theta），theta就是参数，有可能是任何一种分布，使得这个概率分布和真实的概率分布Pdata(x）越接近越好，具体该怎么做呢？具体做法就是求概率分布 Pdata(x;
【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度
无极阁
05-18 4704
生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。
在GAN中使用JS散度评估的问题
Forlogenの解忧杂货铺
03-31 2353
在Martin Arjovsky, Léon Bottou, Towards Principled Methods for Training Generative Adversarial Networks, 2017, arXiv preprint这篇论文中，作者发现在选择不同的epoch时，随着迭代次数的增加，它们的交叉熵都会减小到一个很低的值，同时准确度也都会到达1.0 但是通过JS散度来直...
KL散度及Python实现
RUC_Lee的博客
12-09 1万+
KL散度及Python实现1 KL散度1.1 定义1.2 公式1.3 几个结论1.4 应用1.4.1 应用1：机器学习领域1.4.2 应用2：用户画像2 Python实现求解2.1 生成分布2.2 计算方法12.3 计算方法23 参考 1 KL散度 在很多场合，经常会遇到KL散度这个概念，那么它到底是什么含义呢？如何定义的？又有哪些应用场景？最后如何用Python进行计算呢？ 1.1 定义 KL散度（Kullback-Leibler divergence，简称KLD）: 在信息系统中称为相对熵（relat
GAN（对抗生成网络）原理及数学推导
QIzikk的博客
02-23 3645
本文主要涉及GAN网络的直观理解和其背后的数学原理。 参考课程： 计算机视觉与深度学习 北京邮电大学 鲁鹏 概述 在所有生成模型中，GAN属于 “密度函数未知，直接硬train” 的那一类，和密度函数可定义的PixelRNN/CNN以及变分自编码器VAE有本质区别。 假设现在我们想做人脸的生成任务。我们希望能找到人脸图像的真实分布，这样直接在这个分布上随便取点，得到的都是人脸的图像。但是分布非常复杂，且无法知道。 所以，我们考虑用一个简单的分布和一个映射，将这个简单的分布映射到真实的分布。我们使用神经网
为什么在GAN中使用KL散度会出现模式坍缩的问题？
Forlogenの解忧杂货铺
04-27 3090
李宏毅老师GAN的课程中曾经对于这个问题有一个直观的解释，大体上可以参考以下的简单理解 https://blog.csdn.net/Forlogen/article/details/88921247 那么具体在数学上如何理解这个问题的产生呢？在Goodfellow提出的GAN的原始论文中指出，当生成器和判别器的能力足够强的时候，一定可以收敛到纳什均衡点，此时得到的最优的判别器D∗D^*D∗为 ...
机器学习：KL散度详解
热门推荐
Poyunji的博客
03-27 4万+
KL散度；Jensen不等式；凸函数
生成模型（三）:GAN
u013250861的博客
12-12 960
因为 \frac{\partial f_1}{\partial x} = y ， \frac{\partial f_2}{\partial y} = -x, 同一次迭代中我们用 x-\eta \cdot y 更新 x ， 用y+ \eta \cdot x 更新y ， 每一次x和y有不同的符号，每次梯度更新都会引起巨大的振荡，并且不稳定性会随着时间的推移而恶化，如图所示。在上面的公式中, \Pi(p_r, p_g) 是所有p_r 和p_g可能的联合概率分布的集合。根据公式，很明显KL散度是不对称的。
定义一个损失函数用于一维降噪自编码器用Wasserstein代替kl散度keras
最新发布
05-24
在一维降噪自编码器中，我们可以使用Wasserstein距离来代替KL散度作为损失函数。Wasserstein距离可以更好地处理样本分布之间的差异，因此在训练自编码器时可以更好地保留数据的特征。 以下是使用Wasserstein距离...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值