Pytorch Note46 生成对抗网络的数学原理
全部笔记的汇总贴: Pytorch Note 快乐星球
之前介绍了什么是生成对抗,接下来会用严格的数学语言证明生成对抗网络的合理性。
详细也可以查看GAN的论文Generative Adversarial Networks
首先介绍一下KL divergence
,这是统计学的一个概念,用来衡量两种概率分布的相似程度,数值越小,表示两种概率分布越接近。
分别有离散的概率分布和连续的概率分布,定义如下。
-
离散的概率分布
D K L ( P ∣