深度学习（八）Theory behind GAN——笔记

最新推荐文章于 2024-11-13 11:24:58 发布
最新推荐文章于 2024-11-13 11:24:58 发布
阅读量735 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45649258/article/details/124097560
版权

目录

Theory behind GAN

在这里插入图片描述

1.Maximum Likelihood Estimation

最大似然估计，从 Pdata​(x) 抽样出一些样本，计算它的likelihood
在这里插入图片描述

2.MLE=Minimize KL Divergence

先假定一个具体的分布去逼近实际分布，需要一个通用的分布，去逼近这个复杂的图像真实分布。因此要用GAN的Generator来解决这个问题。
在这里插入图片描述

3.Generator

从一个简单的分布中得到出样本，然后用generator，然后得到输出，把这些输出统统集合起来
在这里插入图片描述

4.Discriminator

在这里插入图片描述

我们可以用Discriminator来区分两个Distribution。如果两个分布的数据很接近（small divergence），那么Discriminator很难把数据分开，也就是上面的公式很难找到一个D，使得D*取得很大的值。那么就找到最大的divergence，使得两个分布的数据相隔远一些，我们的Discriminator就能容易的将数据分开。
在这里插入图片描述

5.GD Algorithm for GAN

首先固定生成器，然后固定D，不停的迭代
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.Algorithm for GAN

首先train判别器，实际上没办法train到收敛，可以定义训练k次；之后train生成器：update一次就好
在这里插入图片描述

鹿衔草啊
关注
专栏目录
【ChatGPT】大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术 Deep learning is the art of architecture and composition
AI天才研究院
03-22 2万+
按照“涌现”的方法来研究这样的系统，就是要在计算机上实现一个模拟的交易市场，并且创造若干相互买卖的虚拟“人”，每个“人”都用计算机编好的规则进行买卖的决策，虽然现实中的人用到的决策规则远远比计算机模型中的“人”的模型复杂的多，但是这样的近似还是有意义的，因为当若干这样的个体组合在一起构成系统的时候，宏观经济系统的一些现象就会自下而上的“涌现”出来，这些涌现出来的现象在很多方面还是客观反映真实经济系统的。系统表现出来的整体性质是各个基础神经元并不具备的新的属性，也不是所有基础神经元特性的简单叠加。
2020李宏毅机器学习笔记-Generative Adversarial Network - Theory behind GAN
zn961018的博客
08-07 651
目录 摘要 1. Theory behind GAN 2. Maximum Likelihood Estimation 3.MLE=Minimize KL Divergence 4. Generator 5. Discriminator 6. GD Algorithm for GAN 7. Algorithm for GAN（Review） 结论与展望 摘要 从某种意义上来讲, GAN 图片生成任务就是生成概率分布。因此, 我们有必要结合概率分布来理解 GAN 生成对抗网络的原理。在.
DL之DNN：神经网络原理深度剖析—仅采用八张图讲清楚BP类神经网络的工作原理(附解读)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 1万+
​ DL之DNN：神经网络原理深度剖析—仅采用八张图讲清楚BP类神经网络的工作原理 目录 BP类神经网络理解 BP类神经网络理解 1、RNN网络的BP算法 2、DNN网络中的BP算法 (1)、信号正向传播FP (2)、误差反向传播BP+GD
算法笔记之GD，BGD，SGD
热门推荐
机器学习知识点整理
01-24 1万+
在讨论GBDT前，先来看看什么是GD，BGD和SGD GD（Gradient Descent，梯度下降）: 求损失函数最小值：梯度下降；求损失函数最大值：梯度上升。 假设线性模型： 其中θ是参数。 损失函数为： 那么每次GD的更新算法为： BGD(Batch Gradient Descent，批量梯度下降)： 在更新参数时使用所有的样本来进行更新。 S
Theory behind GAN 学习笔记
weixin_42856170的博客
04-01 285
Theory behind GAN 学习笔记
李宏毅学习笔记33.GAN.04.Theory behind GAN
老毛的博客
05-06 607
文章目录简介MLEMLE=Minimize KL DivergenceGeneratorDiscriminatorD∗D^*D∗和divergence的关系证明GD Algorithm for GAN实作Algorithm for GAN（Review）Objective Function for Generator in Real ImplementationIntuition 简介 本节将从G...
2021李宏毅机器学习笔记--23 Theory behind GAN
guoxinxin0605的博客
09-05 490
2021李宏毅机器学习笔记--23 Theory behind GAN摘要一、Maximum Likelihood Estimation(最大似然估计)二、MLE=Minimize KL Divergence（最小KL散度）三、Generator四、Discriminator五、D*和divergence的关系证明六、知识回顾:KL散度、JS散度和交叉熵七、G*的目标八、GD Algorithm for GAN九、In practice(实做中)十、Algorithm for GAN总结 摘要 本章节主
李宏毅GAN笔记——Basic Theory
weixin_44204511的博客
11-19 340
GAN 本节思维导图 理论 假设图片是高维空间的向量x，而我们需要产生的图片是有一个固定的分布Pdata(x)P_{data}(x)Pdata​(x).我们需要做的是那这个分布找出来，但我们拥有的数据是一些样本，我们能够知道这些能产生很好效果的样本的位置在哪里，不知道具体的要求的分布是什么样的。 在GAN之前，我们使用的算法是MEL(极大似然估计法)。 MLE 以下内容参考一文搞懂极大似然估计 似然函数（参数未知、变量已知）就是对于不同的模型参数，出现x这个样本点的概率。 极大似然估计就是利用已知的样本结
李宏毅GAN课堂笔记 part4：Theory behind GAN
u013841458的博客
09-12 630
假设我们要生成的图片是二次元人脸的话，他有一个固定的图案是他的分布，这个分布在蓝色的这个区域生成的图片被判别器识别的准确率是高的。 我们的目的是找出这个分布。 Maximum Likelihood Estimation   我们提供一个分布由这个θ控制。比如高斯分布，θ指平均值和方差   从Pdata（X）中抽样中m个data 把这些几率全部乘起来是我们要maximu...
AI+深度学习理论+数学原理 The Principles of Deep Learning Theory
05-18
《AI+深度学习理论+数学原理：深度学习理论的原则》一书深入探讨了从数学理论角度理解深度学习的方法。本书由Daniel A. Roberts和Sho Yaida撰写，并基于与Boris Hanin的合作研究。以下是对书中部分内容的详细解读： ...
深度学习算法教程(Deeplearning Algorithms Tutorial) 完整版PDF
04-24
深度学习的先进模型如自动编码器（Autoencoder）、递归神经网络（RNN）、多层感知器（MLP）、玻尔兹曼机（Boltzmann Machine）、卷积神经...GAN）进一步推动了深度学习在图像识别、自然语言处理、语音识别等领域的进展...
2025秋招书籍推荐：《深度学习的数学理论》——揭示深度学习背后的数学逻辑
weixin_41496173的博客
08-20 737
近年来，随着深度学习在图像识别、自然语言处理等领域的突破性进展，越来越多的研究者和开发者投入到这个领域。然而，尽管深度学习在实践中取得了显著的成功，其背后的理论机制仍然让很多人感到迷惑。这就是为什么我今天想向大家推荐一本书——《深度学习的数学理论》（*Mathematical Theory of Deep Learning*），由Philipp Petersen和Jakob Zech两位学者撰写，它深入探讨了深度学习的数学原理，帮助读者理解为什么神经网络能够如此有效地解决复杂问题。
卷积神经网络CNN
m0_53374676的博客
11-13 142
卷积层通过应用一组可学习的滤波器（或称核）到输入图像的不同位置，产生一个特征映射（Feature Map）。CNN是一种前馈神经网络，它的人工神经元可以对输入的图像数据进行响应，并且可以检测图像中的局部特征，如边缘、纹理等。
深度学习神经网络创新点方向（具体）
m0_44975814的博客
11-13 881
深度学习神经网络已经成为当今科技领域的核心技术之一，推动了人工智能从理论研究迈向广泛的实际应用。随着应用场景的拓展和数据复杂性的增加，持续创新神经网络技术变得至关重要。这不仅有助于提升模型性能，解决现有技术面临的瓶颈问题，还能开辟新的应用领域，为社会发展带来更多价值。
深度学习——前向传播与反向传播、神经网络（前馈神经网络与反馈神经网络）、常见算法概要汇总
11-09 1250
面试资料收集者之深度学习——前向传播与反向传播、神经网络（前馈神经网络与反馈神经网络）、常见算法概要汇总
深度学习的核心思想
qq_38423732的博客
11-12 170
刚开始随便给一个东西然后利用这个东西求一个我们想要的结果，用这个结果和真实的结果求损失，在反向求导更新我们随便给的东西，不断的多次下来，这个随便给的东西，就会逼近我们想要的东西。简单说就是：深度学习就是刚开始随便给一个东西，然后通过，不断的损失求导最后能得到我们想要的结果。
循环神经网络（RNN）全面解析
最新发布
hello.reader
11-13 693
循环神经网络（Recurrent Neural Network, RNN）是一类用于处理序列数据的神经网络模型。RNN的关键特性在于其递归结构，可以在时间序列中记住之前的数据，从而适用于时间序列预测、自然语言处理（NLP）、语音识别等场景。RNN通过在序列中的每个时间步（Timestep）上共享参数，实现了序列数据的高效处理。RNN之所以适合处理序列数据，是因为它具有 “记忆” 功能，能够将前一步的输出作为输入传递给下一步。
[卷积神经网络]使用YOLOv11训练自己的模型
就随便写写....
11-08 739
使用YOLOv11训练自己的数据
EMTP理论书籍深度学习与神经网络研究
资源摘要信息:"EMTP Theory Book是一本与人工智能、神经网络和深度学习相关的电子图书。EMTP（ElectroMagnetic Transients Program）是一个用于电力系统电磁暂态模拟的软件工具。该图书详细阐述了EMTP的理论基础，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值