gan判别器的loss接近零_通俗理解GAN(一):把GAN给你讲得明明白白

本文从极大似然估计引入,解释了GAN(生成对抗网络)的基本思想,包括生成器和判别器的作用。GAN通过生成器和判别器的对抗学习,使生成器生成的图像逐渐逼近真实分布。当判别器的loss接近零时,意味着生成器生成的图像与真实图像难以区分。文章详细阐述了GAN的训练过程和优化目标,将问题转化为二分类的交叉熵损失问题,并给出了GAN的算法流程。
摘要由CSDN通过智能技术生成

ab30e754a04ea43177c11cd3a6e386f9.png

0 引子

GAN的风暴席卷了整个深度学习圈子,任何任务似乎套上GAN的壳子,立马就变得高大上了起来。那么,GAN究竟是什么呢?

GAN的主要应用目标:

生成式任务(生成、重建、超分辨率、风格迁移、补全、上采样等)

GAN的核心思想:生成器G和判别器D的一代代博弈

生成器:生成网络,通过输入生成图像

判别器:二分类网络,将生成器生成图像作为负样本,真实图像作为正样本

learn 判别器D:

给定G,通过G生成图像产生负样本,并结合真实图像作为正样本来训练D

learn 生成器G:

给定D,以使得D对G生成图像的评分尽可能接近正样本作为目标来训练G

G和D的训练过程交替进行,这个对抗的过程使得G生成的图像越来越逼真,D“打假”的能力也越来越强。

觉得不是很好理解嘛?别着急,慢慢往下看!


1 从极大似然估计说起

补充: 分布的表示:
equation?tex=P%28x%29

表示该分布中采样到样本x的概率,试想如果我们知道该分布中每个样本的采样概率,那么这个分布也就可以以这种形式表示出来了。 确定分布的表示:
equation?tex=P%28x%3B%5Ctheta%29

其中
equation?tex=%5Ctheta 表示该分布的参数,该分布的具体形式确定了(比如
equation?tex=P%28x%3B%5Ctheta%29 可以是高斯分布,
equation?tex=%5Ctheta 就是高斯分布的均值
equation?tex=%5Cmu 和方差
equation?tex=%5Csigma

先来介绍一下极大似然估计

1.1 极大似然估计要解决的问题

  • 给定一个数据分布
    equation?tex=P_%7Bdata%7D%28x%29
  • 给定一个由参数
    equation?tex=%5Ctheta 定义的数据分布
    equation?tex=P_G%28x%3B%5Ctheta%29
  • 我们希望求得参数
    equation?tex=%5Ctheta 使得
    equation?tex=P_G%28x%3B%5Ctheta%29 尽可能接近
    equation?tex=P_%7Bdata%7D%28x%29

可以理解成:

equation?tex=P_G%28x%3B%5Ctheta%29 是某一具体的分布(比如简单的高斯分布),而
equation?tex=P_%7Bdata%7D%28x%29 是未知的(或者及其复杂,我们很难找到一个方式表示它),我们希望通过
极大似然估计的方法来确定
equation?tex=%5Ctheta ,让
equation?tex=P_G%28x%3B%5Ctheta%29 能够大体表达
equation?tex=P_%7Bdata%7D%28x%29

1.2 极大似然估计的解决方案

  1. equation?tex=P_%7Bdata%7D%28x%29 采样m个样本
    equation?tex=%5C%7Bx%5E1%2C+x%5E2%2C+...%2C+x%5Em%5C%7D
  2. 计算采样样本的似然函数
    equation?tex=L%3D%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29
  3. 计算使得似然函数
    equation?tex=L 最大的参数
    equation?tex=%5Ctheta
    equation?tex=%5Ctheta%5E%2A+%3D+%5Carg+%5Cmax_%7B%5Ctheta%7D+L%3D%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29
这里再啰嗦一下 极大似然估计为什么要这么做:
equation?tex=P_%7Bdata%7D%28x%29 可以理解成是非常复杂的分布,不可能用某个数学表达精确表示,因此我们只能通过抽象,使用一个具体的分布模型
equation?tex=P_G%28x%3B%5Ctheta%29 近似
equation?tex=P_%7Bdata%7D%28x%29

所以,求
equation?tex=P_G%28x%3B%5Ctheta%29 的参数
equation?tex=%5Ctheta 的策略就变成了:

我们认为来自
equation?tex=P_%7Bdata%7D%28x%29 的样本
equation?tex=%5C%7Bx%5E1%2C+x%5E2%2C+...%2C+x%5Em%5C%7D
equation?tex=P_G%28x%3B%5Ctheta%29 分布中出现的概率越高,也就是
equation?tex=%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29 越大,
equation?tex=P_G%28x%3B%5Ctheta%29
equation?tex=P_%7Bdata%7D%28x%29 就越接近。

因此,我们期待的
equation?tex=%5Ctheta 就是使得
equation?tex=%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29 最大的
equation?tex=%5Ctheta .

即:
equation?tex=%5Ctheta%5E%2A+%3D+%5Carg+%5Cmax_%7B%5Ctheta%7D+L%3D%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29

咱们继续推导:

equation?tex=%5Cbegin%7Balign%7D+%5Ctheta%5E%2A+%26%3D+%5Carg+%5Cmax_%7B%5Ctheta%7D+L++%5C%5C%26%3D%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29+%5C%5C%26%3D%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Clog+%5Cprod_%7Bi%3D1%7D%5Em+P_G%28x%5Ei%3B%5Ctheta%29+%5C%5C%26%3D%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Csum_%7Bi%3D1%7D%5Em+%5Clog+P_G%28x%5Ei%3B+%5Ctheta%29+%5C%5C+%26%5Capprox%5Carg+%5Cmax_%7Btheta%7D+E_%7Bx%5Csim+P_%7Bdata%7D%7D%5B%5Clog+P_G%28x%3B%5Ctheta%29%5D+%5C%5C%26%3D+%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Cint_x+P_%7Bdata%7D%28x%29+%5Clog+P_G%28x%3B+%5Ctheta%29+dx+%5C%5C+%26%3D+%5Carg+%5Cmax_%7B%5Ctheta%7D+%5Cint_x+P_%7Bdata%7D%28x%29+%5Clog+P_G%28x%3B+%5Ctheta%29+dx+-+%5Cint_x+P_%7Bdata%7D%28x%29+%5Clog+P_%7Bdata%7D%28x%29dx+%5Cend%7Balign%7D

关于最后一步:

因为我们求取的是

  • 3
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值