GAN的理论浅析（极大似然概率和KL散度）

最新推荐文章于 2022-11-29 16:19:41 发布

Ge_huibin

最新推荐文章于 2022-11-29 16:19:41 发布

阅读量980

点赞数 1

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_39588448/article/details/104439547

版权

希望找到一个数据集的真实概率分布

$P_{data}(x)$

现在，并不知道这个分布 $P_{data}(x)$ 的数学式子是什么样的，但是可以从这个分布中采样，当收集到一组高质量的图片作为数据集的时候就是从这个真实的分布中采样。

于是现在有了一笔从 $P_{data}(x)$ 中采样的数据

{ $x^{1}$ , $x^{2}$ ,...., $x^{m}$ } $\subseteq$ $P_{data}(x)$

然后，希望通过神经网络生成一个概率分布 $P_{data}(x; \theta )$ （ $\theta$ 是参数），使得这个概率分布和真实的概率分布 $P_{data}(x)$ 越接近越好，具体该怎么做呢？具体的做法就是求概率分布 $P_{data}(x; \theta )$ 的极大似然估计。得到m个样本的可能性，把所有的可能性乘起来，就是总的值L

$L= \prod_{i=1}^{m}P_{G}(x^{i}; \theta )$ （1）

L的值越大，代表质量高图片的可能性越大。如何让L的值越大越好，就是要优化这个函数中的参数 $\theta$

$\theta^{*}=argmax\prod_{i=1}^{m}P_{G}(x^{i}; \theta )=argmax\sum_{i=1}^{m}log(P_{G}(x^{i}; \theta ))$ （2）

这就是Generator中生成的概率分布中采样m个数据的似然估计，希望它能近似从 $P_{data}(x)$ 中采样数据的期望

$\theta^{*} =argmax E_{x\sim P_{data}}[log(P_{G}(x; \theta ))]$

$=argmax\int_{x} P_{data}(x)log(P_{G}(x; \theta ))dx$ （3）

为什么（2）式和（3）式近似相等呢？对真实样本进行采样后的期望实际上就是求平均因此（3）式子可以化成下面

$argmax\int_{x} P_{data}(x)log(P_{G}(x; \theta ))dx$ （4）

$=argmax \frac{1}{m} \sum_{i=1}^{m}log(P_{data}(x^{i} ))$

化简后的式子是不是和式子（2）很相似，只不过多除了一个m，但由于m是一个常数，并不影响。

那为什要把式子（3）化成式子（4）呢，实际上化成式子（4）并不是最终目的。

把式子（4）减掉一个式子如下：

$argmax\int_{x} P_{data}(x)log(P_{G}(x; \theta ))dx -\int_{x} P_{data}(x)log(P_{data}(x))dx$

这里先说明减掉这个式子后对原本求 $\theta^{*}$ 并没有影响，因为减掉的式子中并不包含 $\theta^{*}$ ，相当于减掉一个常数。

至于为什么要减掉这个式子，将上述的式子进一步化简：

$argmax\int_{x} P_{data}(x)log(P_{G}(x; \theta ))dx -\int_{x} P_{data}(x)log(P_{data}(x))dx$

$=argmax\int_{x} P_{data}(x)(log(P_{G}(x; \theta ))-log(P_{data}(x)))dx$

$=argmax\int_{x} P_{data}(x) \frac{log(P_{G}(x; \theta))}{log(P_{data}(x))}dx$

$=-argmax\int_{x} P_{data}(x) \frac{log(P_{data}(x))}{log(P_{G}(x; \theta))}dx$

$=argmin\int_{x} P_{data}(x) \frac{log(P_{data}(x))}{log(P_{G}(x; \theta))}dx$

$=argminKL(P_{data}||P_{G})$ (5)

于是本来要求极大似然估计式子（2）变成了求KL散度的最小值（5）

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
GAN的理论浅析（极大似然概率和KL散度）

GAN有两大部分组成，一个是Generator，一个是Discriminator组成，Generator用于生成数据，Disrciminator用于鉴别生成数据的好坏。我们希望GAN找到一个数据集的真实概率分布那么什么是数据集的真实概率分布，好比兔子生活在树林里，当兔子只有一只的时候，它可能在树林的任何一个地方生活，当这只兔子繁衍足够多的兔子时候，这一个兔子家庭会倾向与在森林的一个固定...
复制链接

扫一扫

Ge_huibin CSDN认证博客专家 CSDN认证企业博客

码龄7年

2: 原创

50万+: 周排名

221万+: 总排名

1781: 访问

: 等级

33: 积分

0: 粉丝

2: 获赞

0: 评论

10: 收藏

私信

关注

热门文章

分类专栏

tensorflow1.15 1篇

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

NEZHA(中文版GPT2)实现Beam-search Tensorflow1.15 (一)

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。