GAN生成对抗网络：数学原理

最新推荐文章于 2024-07-22 00:37:25 发布

随风秀舞

最新推荐文章于 2024-07-22 00:37:25 发布

阅读量1.2k

点赞数 1

分类专栏：人工智能/深度学习/机器学习文章标签： GAN 生成对抗网络

本文链接：https://blog.csdn.net/jasonleesjtu/article/details/90715214

版权

文章目录

1. 极大似然估计

GAN用到了极大似然估计（MLE），因此我们对MLE作简单介绍。

MLE的目标是从样本数据中估计出真实的数据分布情况，所用的方法是最大化样本数据在估计出的模型上的出现概率，也即选定使得样本数据出现的概率最大的模型，作为真实的数据分布。

将真实模型用参数 $\theta$ 表示，则在模型 $\theta$ 下，样本数据的出现概率（likelihood）是 $\prod_{i=1}^mp_{model}(x_i; \theta) \tag{1}$

其中 $x_i$ 表示样本中的第 $i$ 个数据。

最大化(1)式的概率，求得满足条件的 $\theta$ ：
$\begin{aligned} \theta^* & = \arg\max_\theta\prod_{i=1}^mp_{model}(x_i; \theta) \\ &= \arg\max_\theta\sum_{i=1}^m\log p_{model}(x_i; \theta) \\ \end{aligned}$

还可以使用KL散度来代表MLE方法：
$\begin{aligned} \theta^*&=\arg\min_\theta D_{KL}(p_{data}(x) || p_{model}(x;\theta)\\ & = \arg\min_\theta\left\{ \sum_{i=1}^mp_{data}(x_i)\log p_{data}(x_i) - \sum_{i=1}^mp_{data}(x_i)\log p_{model}(x_i;\theta) \right\}\\ & = -\arg\min_\theta\sum_{i=1}^mp_{data}(x_i)\log p_{model}(x_i;\theta) \\ & = \arg\max_\theta\sum_{i=1}^mp_{data}(x_i)\log p_{model}(x_i;\theta) \end{aligned}$