GAN交叉熵

最新推荐文章于 2024-09-17 15:45:36 发布
最新推荐文章于 2024-09-17 15:45:36 发布
阅读量1.7k 收藏 9
点赞数 1
分类专栏： MachineLearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clam76890/article/details/111567192
版权

信息用来消除事件的不确定性（判断一张图片是猫、狗、猪、蛙的神经网络，其输出层采用softmax，即该图片是各个类别的概率。该模型输出的结果就是信息，通过这个结果，可以判断图片属于哪一类别 [消除了该图片属于哪一类别的不确定性]），样本的标签 是 信息，通过样本的标签可知道该样本属于哪一类别 [消除该样本属于哪一类别的不确定性]

信息熵用来度量一条信息的信息量，计算公式是- \sum \limits_{x \in X} P(x) \log{P(x)}，X是类别集合，P(x)表示该样本数据x类别的概率。变量的不确定性越大时，其信息熵越大，因为要弄清楚一件不确定性很大的事，需要的信息量就越大。

标准的交叉熵是- \sum \limits_{i=1}^n y_i \log({y_i}' )，其中n代表n种类别，y_i代表该类别的编号，{y_i}'该样本属于这一类别的概率。利用错误的分布来衡量一个模型输出的信息量，利用交叉熵做损失函数，本质上是求出模型输出结果的交叉熵，及样本标签的信息熵（其标签的信息熵是固定值），相减，可得出相对熵（KL散度）。利用KL散度衡量模型输出的概率分布与真实概率分布的差距。

 

 

原始GAN的目标函数，及将目标函数的期望采用积分表示：

原始GAN的目标函数是两个交叉熵简化形式（真实样本和生成样本的交叉熵），分别乘上各自分布的期望再相加。

  • 真实样本：其完整交叉熵是1*log D(x_1)+0*logD(x_0)，其中D(x_0),D(x_1)分别是判别器判断该样本是真实样本(1)还是生成样本(0)的概率
  • 生成样本：其完整交叉熵是1*log D(G(z_1))+0*logD(G(z_0))，其中D(G(z_0)),D(G(z_1))分别是判别器判断该生成样本是真实(1)还是生成(0)的概率。省略可以得到logD(G(z))，目标函数是为了D(G(z))尽可能小，但为了与真实样本的交叉熵函数方向一致（都进行最大化），故使用1-logD(G(z))。

 

期望

对于离散随机变量

  • 概率函数：一次表示一个取值的概率。摇色子，X表示摇到的数，P(X=1)= 1/6
  • 概率分布：一次表示全部取值的概率。

        

  • 概率分布函数：累加 概率函数，

连续性随机变量

  • 概率密度函数，其实就是 连续型变量的概率函数
  • 概率分布函数，累加 概率密度函数；概率密度函数是概率分布函数的导函数

数学期望：将实验中每次可能 产生的结果的概率 乘以其结果 的总和，反映随机变量平均取值的大小。对于连续型随机变量x，其概率密度函数f(x)，数学期望的微积分形式是 

数学期望和GAN的积分形式怎么联系起来？（GAN期望的积分形式少了一个x）

x~pdata，pdata是什么？

 

FenceGAN中判别器的目标函数：

FenceGAN中判别器的目标函数，对原始GAN目标函数的改动是

  • 省去了期望，只使用两个交叉熵相加
  • 前面乘上一个\frac{1}{N},N是分类数
  • 在生成样本的交叉熵前加入一个权重gamma
Doraemonnnn
关注
专栏目录
GAN学习笔记——KL散度、交叉熵、JS散度
程序媛的自学笔记
04-12 3221
首先，我们知道， 熵 是用来量化数据中含有的信息量的，其计算公式为： H=−∑i=1Np(xi)⋅log⁡p(xi)H=-\sum_{i=1}^{N}p(x_{i})\cdot \log p(x_{i})H=−i=1∑N​p(xi​)⋅logp(xi​) 1）KL散度（Kullback–Leibler divergence） 又称KL距离，相对熵，用来比较两个概率分布的接近程度。 假设 p(x)...
34种不同类型的GAN网络
03-16
5. **LSGAN (Least Squares GAN)**: 使用最小二乘损失函数替换原始的二元交叉熵损失，以缓解GAN训练过程中的模式崩溃问题。 6. **Wasserstein GAN (WGAN)**: 引入 Wasserstein 距离作为损失函数，提高了训练的稳定...
[转载]--令人拍案叫绝的Wasserstein GAN
supercloud的专栏
02-07 6938
文章转载自： https://zhuanlan.zhihu.com/p/25071913 令人拍案叫绝的Wasserstein GAN 郑华滨 · 2 天前 在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wassertein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow
GAN的损失函数和二元交叉熵损失的对应及代码
最新发布
sxl的博客
09-17 448
【代码】GAN的损失函数和二元交叉熵损失的对应及代码。
GAN中涉及的信息量，信息熵，交叉熵，KL散度，JS散度等概念
Kobaayyy的博客
02-03 525
GAN中涉及的信息量，信息熵，交叉熵，KL散度，JS散度等概念欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowcha...
交叉熵
给永远比拿愉快
04-12 1567
上一篇译文《香农熵》中介绍了熵的由来及其计算公式的产生，这篇译文介绍另外一个与香农熵相关的概念：交叉熵（Cross-Entropy） 注：可能文中对一些专有名词的翻译不够精确，所以有的名词后面注解了其对应的原始英文单词 原文：A Friendly Introduction to Cross-Entropy Loss 简介（Introduction） 当我们要建立一个基于概率论的分类模型...
生成对抗网络（GAN）的特殊交叉熵V(D, G)的定义和公式
m0_51200050的博客
07-03 987
这段文字解释了 GAN 中交叉熵损失函数的定义和作用。通过理解这个损失函数的构成，我们可以更好地理解 GAN 的训练目标和对抗关系。生成器和判别器在对抗中不断提升各自的能力，最终实现生成逼真数据和准确分类数据的目标。这段文字解释了 GAN 中的特殊交叉熵损失函数的一个重要特性，即其值域为 (-∞, 0)。这种特性与传统的损失函数不同，反映了 GAN 的对抗性训练目标，即生成器和判别器之间的博弈关系。通过理解这一特性，我们可以更好地掌握 GAN 的训练机制。
Softmax函数与交叉熵
AmberHappy的博客
05-16 413
这篇写的太好啦 https://blog.csdn.net/behamcheung/article/details/71911133
CycleGAN风格交叉熵的取值范围
05-05
CycleGAN中的风格交叉熵损失函数是在两个域之间计算的，一般情况下，其取值范围应该是[0, +∞)。这是因为交叉熵损失函数是基于概率的，而概率的取值范围是[0, 1]，所以交叉熵损失函数也应该是非负的。 在CycleGAN中...
CycleGAN的风格交叉熵是多少
05-05
CycleGAN的风格交叉熵损失函数定义如下： $$ \mathcal{L}_{GAN}(G, D_Y, X, Y) = \mathbb{E}_{y\sim p_{data}(y)}[\log D_Y(y)] + \mathbb{E}_{x\sim p_{data}(x)}[\log(1 - D_Y(G(x)))] $$ 其中 $G$ 是生成器，$D...
GAN.rar_GaN_测试集 GAN_简单的GAN实现
07-13
常用损失函数包括二元交叉熵损失。 4. **训练过程**: 在每个训练迭代中，首先固定生成器更新判别器，然后固定判别器更新生成器。这个过程持续进行，直到模型收敛。 **简单的GAN实现** 在“简单的GAN实现”中，...
Fence_GAN:Fence GAN
05-14
围栏GAN：寻求更好的异常检测 这是本文的正式实施：围栏GAN：迈向更好的异常检测 。 先决条件 Linux操作系统 的Python 3 CUDA Tensorflow版本1.12（已在此版本上测试） 安装 克隆存储库 git clone https://github.com/phuccuongngo99/Fence_GAN.git 按照说明安装tensorflow或tensorflow-gpu。 安装必要的库 pip3 install -r requirements.txt 异常检测 检查结果和result文件夹下的图 2D综合数据集 python3 2D_experiment/2D_fgan.py MNIST python3 main.py --dataset mnist --ano_class 0 --epochs 100 --alpha 0.1 --beta 30 --g
机器学习-最大熵模型
weixin_37443412的博客
06-29 413
最大熵模型是由最大熵原理推导实现。
GAN的损失函数
我の博客
01-08 7762
在训练过程中，生成器和判别器的目标是相矛盾的，并且这种矛盾可以体现在判别器的判断准确性上。生成器的目标是生成尽量真实的数据，最好能够以假乱真、让判别器判断不出来，因此生成器的学习目标是让判别器上的判断准确性；相反，判别器的目标是尽量判别出真伪，因此判别器的学习目标是让自己的判别准确性。当生成器生成的数据越来越真时，判别器为维持住自己的准确性，就必须向辨别能力越来越强的方向迭代。当判别器越来越强大时，生成器为了降低判别器的判断准确性，就必须生成越来越真的数据。在这个奇妙的关系中，判别器判断的准确性由。
[算法分析]GAN的数学原理 - 从生成模型到信息熵
一棵孤独的树
03-21 1611
文章目录生成模型为什么需要GAN[2]GAN的结构GAN的数学推导过程算法流程GAN的数学基础 - 散度信息熵交叉熵散度：分布的不相似度参考文献 生成模型 在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建...
【熵】熵，KL散度，交叉熵,最大熵模型
Hali_Botebie的博客
03-06 1102
https://blog.csdn.net/geter_CS/article/details/84572199 文章目录熵条件熵最大熵模型 熵 熵在概率论中是很重要的概念。表示随机变量不确定性的度量。设随机变量 X其概率分布为P(X=xi)=pi，i=1,2...nP(X=x_i)=p_i，i=1,2...nP(X=xi​)=pi​，i=1,2...n，则 X 的熵可以表示为 H(p)=−∑i=1n​pi​log(pi​)H(p)=-∑^n_{i=1}​p_i​log(p_i​)H(p)=−∑i=1n​​
最大化似然估计，交叉熵
weixin_42668508的博客
12-13 454
最大似然估计，交叉熵
【基础知识】GAN 基本原理以及数学证明
菜鸟起飞
12-25 1018
转自：https://www.cnblogs.com/jeffersonqin/p/13671232.html GAN概述 2014 年，Ian Goodfellow 和他在蒙特利尔大学的同事发表了一篇震撼学界的论文。没错，我说的就是《Generative Adversarial Nets》，这标志着生成对抗网络（GAN）的诞生，而这是通过对计算图和博弈论的创新性结合。他们的研究展示，给定充分的建模能力，两个博弈模型能够通过简单的反向传播（backpropagation）来协同训练。 这两个模型的角色
GAN（生成对抗网络）的系统全面介绍（醍醐灌顶）
热门推荐
m0_61878383的博客
01-18 14万+
本文是关于GAN学习的较为系统全面的介绍，主要针对初学者，希望能够对大家带来帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值