深度学习:GAN(1)

GAN该部分知识点主要参考网上的视频资料,并用文字整理下来,方便以后查看。

在学习GAN之前需要知道这么一句话:“what I cannot create, I do not understand”
意思是 我们需要实战写一个GAN模型,才能理解GAN。

1 数据分布 p ( x ) p(x) p(x)

在说GAN之前需要了解什么是数据分布。

我们的目的是需要掌握数据的分布 p ( x ) p(x) p(x),才能创造该类型的数据。

那么对于一个数据集 p ( x ) p(x) p(x)是什么样子的呢?我们之前学过的高斯泊松伯努利这些简单的分布不再适合大数据集。

可以断定 p ( x ) p(x) p(x)不是我们已知的分布函数,长什么样子、参数我们也不知道,但是为了便于公式推导和模型算法描述,通常我们用 p ( x ) p(x) p(x)来表示一个数据集的分布,仅仅是一个表示和辅助性的推理。(没人知道分布是什么)

即使是MINST数据集,我们也不知道 p ( x ) p(x) p(x)分布表达式是什么。通过降维到3维度,可以勉强画出来该数据集的分布 p ( x ) p(x) p(x),如下:

2 如何学习 p ( x ) p(x) p(x)

通过神经网络去逼近分布 p ( x ) p(x) p(x),一般是用生成器来生成,并用判别器来对抗训练。一个简单的GAN流程图为下,最后达到纳什均衡点。

最后使得生成器生成的 p g ( x ) ∼ p r ( x ) p_g(x)\sim p_r(x) pg(x)pr(x)

3 GAN损失函数

怎么训练呢?损失函数为:
在这里插入图片描述
首先明白 min ⁡

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值