GAN

预备知识

  • KL-divergence

                                         

  • Jensen-Shannon divergence                        

                                  

Remark:

    1. KL(p||q) 非负,不对称,当且仅当p=q时值为0;

    2. JS(p||q) 非负,对称,当且仅当p=q时值为0!           

GAN模型

  • Idea        

                                                                                             

  • Model

                                      

       Remark : max_D V(D, G) <<==>> 明辨是非,min_G V(D, G)  <<==>> 混淆视听!

  • Theory

      1. For G fixed, the optimal discriminator D is :

                                                     

      2. For the virtual training criterion, the global minimum is achieved iff P_g = P_data.

                                             

      3. If the discriminator is allowed to reach its optimum given G, P_g is updated so as to minimum criterion, then  P_g converges to P_data!

  • Algorithm  

                     

   Remark : 固定G,更新D的时候,为什么需要内循环多次(K次)?【sampling enough

GAN的本质

                   

实验结果

           

优、缺点

  • 优点
  1. GAN是一种生成式模型,相比较其他生成模型(玻尔兹曼机和GSNs)只用到了反向传播,而不需要复杂的马尔科夫链;
  2. 相比其他所有模型, GAN可以产生更加清晰,真实的样本
  3. GAN采用的是一种无监督的学习方式训练,可以被广泛用在无监督学习和半监督学习领域
  4. 相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),VAEs引入决定性偏置,因为他们优化对数似然的下界,而不是似然度本身,这看起来导致了VAEs生成的实例比GANs更模糊。
  5. 相比VAE, GANs没有变分下界,如果鉴别器训练良好,那么生成器可以完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,但是VAE是有偏差的。
  6. GAN应用到一些场景上,比如图片风格迁移,超分辨率,图像补全,去噪,避免了损失函数设计的困难,不管三七二十一,只要有一个的基准,直接上判别器,剩下的就交给对抗训练了。
  • 缺点
  1. 训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的;
  2. GAN不适合处理离散形式的数据,比如文本;
  3. GAN存在训练不稳定、梯度消失、模式崩溃的问题(目前已解决);

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ReLuJie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值