WGAN（1）——为什么不能直接拟合原始分布Pr

已于 2022-06-27 23:08:46 修改
阅读量128 收藏
点赞数
文章标签： 人工智能 GAN WGAN
于 2022-06-27 22:02:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41156733/article/details/125492627
版权

预备知识

在这里插入图片描述

1、KL-Divergence

在这里插入图片描述

1.1 MLE（Maximum likelihood estimation）–> KL-Divergence

在这里插入图片描述

1.2 Why Directly learn the probability density function Pθ run into a problem.

在这里插入图片描述
Pθ(x)、P_r_(x)均为一个低维度流形，所以在学习Pθ(x)的过程中，Pθ(x)、P_r_(x)不可能完全重合（实际上是几乎不可能重合）。更糟糕的情况是，只要有一个real_data x0不在Pθ(x)的domian内，则此时Pθ(x)=0，从而使得KL-Divergence Explode.

推荐参考文章：
https://www.alexirpan.com/2017/02/22/wasserstein-gan.html

推荐视频：
https://www.youtube.com/watch?v=pG0QZ7OddX4&list=PLhhyoLH6IjfwIp8bZnzX8QR30TRcHO8Va&index=4
（均需要科学上网）

Neuzly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WGAN-GP解读分析
weixin_46238823的博客
03-27 4471
WGAN-GP（Wasserstein GAN with gradient penalty）相比GAN（Generative Adversarial Network）有以下几个优点：更好的损失函数：WGAN-GP使用了Wasserstein距离来度量生成器和判别器之间的距离，相比于GAN中使用的交叉熵损失函数，Wasserstein距离更加稳定，可以避免GAN中出现的训练不稳定和模式崩溃等问题。
【生成对抗网络系列】五、WGAN-GP
traveller的博客
10-16 555
WGAN-GP
渐入佳境__距离生成对抗网络（WGAN）（六）
散修炼丹师手记
04-17 2248
简介 自从2014年Ian Goodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等问题。从那时起，很多论文都在尝试解决，但是效果不尽人意，比如最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题。于是WGAN的作者Martin Arjovsky在...
令人拍案叫绝的 Wasserstein GAN，彻底解决GAN训练不稳定问题
热门推荐
Candy_GL的博客
07-20 1万+
【新智元导读】 本文详细解析了最近在 reddit 的 Machine Learning 版引起热烈讨论的一篇论文Wassertein GAN，该论文提出的 WGAN 相比原始 GAN 的算法实现流程却只改了四点，但实现了彻底解决GAN训练不稳定，基本解决了 collapse mode 的问题等好处。 论文下载地址：https://arxiv.org/abs/1701.07875 在GAN的相...
GAN、WGAN、WGAN-GP5.docx
06-15
基于PyTorch实现生成对抗网络 拟合给定分布 要求可视化训练过程 实验报告 对比GAN、WGAN、WGAN-GP（稳定性、性能） 对比不同优化器的影响
GAN-1D:使用WGAN生成故障轴承振动信号
05-18
使用WGAN生成故障轴承振动信号 要求： python 3.5+ 张量流gpu numpy scipy os 打开cmd和cd到文件夹 $ python train.py --learning_rate 0.000001 #change the learning rate,default 0.000001 --epoch ...
improved_wgan_wgan_
09-29
WGAN实验程序，包括minst手写数据集等程序
wgan_wgan代码_wgan源代码_wgan网络代码_wgan_wgan生成_
09-30
WGAN生成对抗网络代码实例，为下载者提供一种思路
GAN、WGAN、WGAN-GP.rar
06-15
基于PyTorch实现生成对抗网络 拟合给定分布 要求可视化训练过程 实验报告 对比GAN、WGAN、WGAN-GP（稳定性、性能） 对比不同优化器的影响
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 379
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
【炼金术士】BatchSize对网络训练的影响
kabuto_hui的博客
04-25 1361
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率。针对BatchSize越大，网络训练速度快这条很好理解，在相同的单位时间内，一次训练的数据越多，网络训练的速度也就越快。初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性。
linux 编译opencv遇到问题
123
04-26 686
linux 编译opencv遇到问题
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
最新发布
gangyikeji的博客
04-28 1089
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
TR6 - Transformer实战 单词预测
Loser
04-26 1358
实验做的还是比较简单的，Transformer模型中的编码器直接使用的是pytorch框架预定义好的模块，但是对于理解整个模型的训练过程还是非常有帮助的。在实验的过程中，发现torchtext模块也已经不在维护了，和计算机视觉不同，自然语言处理的模型的输入格式灵活多变，经常需要自己写代码调整，比如上面的data_process函数。
探索AI时代的新天地：LLAMA3引领人工智能革命
✈
04-24 1799
AI_Academic能够帮助您更高效地进行论文写作、润色，还能帮您解析各种编程语言的源码。AI_Academic页面分为三部分：左侧为系统输出区，右侧为用户操作区，包括输入框（输入文字指令、待操作的文本或代码段等）、操作按钮以及左上方模型切换、界面设置等功能。新版本中左下角新增二次元人物想象，陪伴用户让学术研究不孤单。功能描述英语学术润色输入英文文本，一键润色中文学术润色输入中文文本，一键润色查找语法错误输入文件，一键查找语法错误中译英输入中文文本，一键翻译为英文学术中英互译。
知识在人工智能中的核心作用：连接主义与符号主义的交融
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
04-27 952
在人工智能（AI）的浩瀚海洋中，连接主义和符号主义是两股不可忽视的潮流。这两大流派在AI的发展历程中起到了举足轻重的推动作用。连接主义，深受人脑神经网络启发，致力于模仿其结构与功能；而符号主义则侧重于利用符号与规则来构建和处理知识。本文旨在深入探讨知识在AI领域的多维作用，特别是连接主义如何借助深度学习技术实现知识的捕获、转化与运用。
集成学习算法学习笔记
m0_46521579的博客
04-27 390
三个臭皮匠顶一个诸葛亮集成学习会考虑多个评估器的建模结果，汇总后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。很多独立的机器学习算法：决策树、神经网络、支持向量机集成学习构建了一组基学习器，并将它们综合起来作为最终的模型。在很多集成学习模型中，对基学习器的要求很低。集成学习适用于机器学习的几乎所有领域：回归、分类、推荐和排序。相同的多个基学习器不会带来任何提升，不同的模型取长补短，每个基学习器都会犯不同的错误，综合起来犯错的可能性不大。
【AI】一文介绍索引增强生成RAG的原理和结构
每日出拳老爷子的博客
04-26 424
今天向大家介绍一下关于RAG的一些知识和经验。这里说的RAG可以理解为目前针对企业知识库问答等AI应用场景的解决方案，这个场景就是利用自然语言大模型LLM与用户自有的文件进行对话的能力。
WGAN-GP训练mnist数据集损失为负是为什么
11-29
根据提供的引用内容，WGAN-GP是在WGAN的基础上增加了梯度惩罚项，可以更好地训练生成器和判别器。在实际训练中，GAN存在训练困难、生成样本缺乏多样性等问题。因此，如果在训练MNIST数据集时，损失为负数，可能是由于训练过程中出现了某些问题，例如学习率设置过高或过低、网络结构设计不合理等。此外，由于WGAN-GP是一种比较新的GAN变体，可能还存在一些未知的问题。 代码实现方面，可以参考引用中提供的论文和引用中的讨论，对代码进行调试和优化，以解决损失为负的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值