0 引子
GAN的风暴席卷了整个深度学习圈子,任何任务似乎套上GAN的壳子,立马就变得高大上了起来。那么,GAN究竟是什么呢?
GAN的主要应用目标:
生成式任务(生成、重建、超分辨率、风格迁移、补全、上采样等)
GAN的核心思想:生成器G和判别器D的一代代博弈
生成器:生成网络,通过输入生成图像
判别器:二分类网络,将生成器生成图像作为负样本,真实图像作为正样本
learn 判别器D:
给定G,通过G生成图像产生负样本,并结合真实图像作为正样本来训练D
learn 生成器G:
给定D,以使得D对G生成图像的评分尽可能接近正样本作为目标来训练G
G和D的训练过程交替进行,这个对抗的过程使得G生成的图像越来越逼真,D“打假”的能力也越来越强。
觉得不是很好理解嘛?别着急,慢慢往下看!
1 从极大似然估计说起
补充: 分布的表示:
表示该分布中采样到样本x的概率,试想如果我们知道该分布中每个样本的采样概率,那么这个分布也就可以以这种形式表示出来了。 确定分布的表示:
其中表示该分布的参数,该分布的具体形式确定了(比如可以是高斯分布,就是高斯分布的均值和方差
先来介绍一下极大似然估计:
1.1 极大似然估计要解决的问题
- 给定一个数据分布
- 给定一个由参数
定义的数据分布
- 我们希望求得参数
使得尽可能接近
可以理解成:
是某一具体的分布(比如简单的高斯分布),而
是未知的(或者及其复杂,我们很难找到一个方式表示它),我们希望通过
极大似然估计的方法来确定
,让
能够大体表达
。
1.2 极大似然估计的解决方案
- 从
采样m个样本
- 计算采样样本的似然函数
- 计算使得似然函数
最大的参数:
这里再啰嗦一下 极大似然估计为什么要这么做:可以理解成是非常复杂的分布,不可能用某个数学表达精确表示,因此我们只能通过抽象,使用一个具体的分布模型近似
所以,求的参数的策略就变成了:
我们认为来自的样本在分布中出现的概率越高,也就是越大,和就越接近。
因此,我们期待的就是使得最大的.
即:
咱们继续推导:
关于最后一步:
因为我们求取的是