阅读小结:InfoGAN:Interpretable Representation Learning by Information Maximising Generative Adversarial

标签: 对抗网络 深度学习 神经网络 GAN InfoGAN
4166人阅读 评论(7) 收藏 举报
分类:

之前GAN中都没有加入分类信息,都是耍流氓啊。用原始maxD的时候,G学到的容易收敛到一个固定图像。

而用feature matching的话,相同向量可能每次match的都不同,这怎么regression啊,摔  (也可能我是用姿势不对,但有多类的feature matching不靠谱啊)


What:

1.通常GAN把一个随机噪声向量z生成为一张图像。z可能从一个 0到1的随机采样构成。

2.这样连累了GAN中的每个值的作用

- 因为即使你改了向量中一个值,对生成图片的影响也是很小的。一定要改变很多个值去影响生成的结果。

- 每个值应该是有实际含义的(即文题中的interpretable,可翻译的),理想情况下,每个值应该都有物理含义,比如在人脸生成任务中,一个值控制眼睛的颜色,一个控制头发的长度等等。 (类似分类最后fc的每个值都有含义的,虽然定义不了)

3.所以作者建议对GANs基于共同信息(mutual information)的改进,将会得到有意义的向量元素(每个值)


How

1.潜在编码 latent code c

- 原来的GAN G的输出为 G(z) 现在改为 G(z,c)

- c可以包含多种变量,根据不同的分布,比如在MNIST中,c可以一个值来表示类别,一个高斯分布的值来表示手写体的粗细


2.共同信息 mutual information

- 如果使用潜在编码c,其实没有监督让网络去使用c。它就往往会被忽略。

- 为了避免这种情况,作者定义了一个熵。作为衡量X,Y两个变量之间 mutual information的程度

 I(X;Y) = entropy(X) - entropy(X|Y) = entropy(Y) - entropy(Y|X)  这个值就像条件概率,X,Y互相独立的话,这个值应该等于0.

-新的loss被定义为 old loss - lamda* I(G(z,c);c)  

我们需要增大生成出来的图像 与 类别c的关联。所以I(G(z,c);c)  的目标是变大。


3. variational mutual information maximisation

有一串公式。。。大概就是用一个网络从 G(z,c) 来regress c  可以和D是同一个网络,最后分个叉来回归c。


我简单模仿了一下,在输入向量中加了分类信息,github地址为:https://github.com/layumi/2016_GAN_Matlab  欢迎fork star  ~~


查看评论

InfoGAN论文笔记+源码解析

GAN,Generative Adversarial Network是目前非常火也是非常有潜力的一个发展方向,原始的GAN模型存在着无约束、不可控、噪声信号z很难解释等问题,近年来,在原始GAN模型的...
  • wspba
  • wspba
  • 2017-02-01 17:24:45
  • 6634

每日论文InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial

转载地址:http://hacker.duanshishi.com/?p=1766 InfoGAN InfoGAN是一种能够学习disentangled representation的GA...
  • u010032054
  • u010032054
  • 2017-03-13 16:09:19
  • 782

InfoGAN介绍

InfoGAN介绍 GAN网络是是一种无监督的生成模型,能够利用已有的样本集进行训练,生成与源域样本集相似的样本。GAN模型有两部分组成,一个是样本生成器G,一个是样本来源判别器D。生成器G希望生成...
  • BigFish_yukang
  • BigFish_yukang
  • 2017-03-01 09:54:36
  • 1965

『论文阅读』GAN论文整理

整理一些关于Generative Adversarial Nets的论文 Generative Adversarial Nets Conditional Generative Adversarial ...
  • u010620946
  • u010620946
  • 2016-12-16 00:57:40
  • 1530

GANs学习系列(5): 生成式对抗网络Generative Adversarial Networks

【前言】      本文首先介绍生成式模型,然后着重梳理生成式模型(Generative Models)中生成对抗网络(Generative Adversarial Network)的研究与发展。作者...
  • u011534057
  • u011534057
  • 2016-10-17 18:43:53
  • 10523

<模型汇总_5>生成对抗网络GAN及其变体SGAN_WGAN_CGAN_DCGAN_InfoGAN_StackGAN

前面介绍了CNN(Convolutional Neural Network)、BNN(Binarized neural network)、dual-learning NMT和DBN,以及深度学...
  • lqfarmer
  • lqfarmer
  • 2017-05-10 09:29:54
  • 3844

深度学习(四十八)InfoGAN学习笔记

本文是本人阅读《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversar...
  • hjimce
  • hjimce
  • 2017-02-18 11:10:40
  • 7334

手把手教你用GAN实现半监督学习

引言 本文主要介绍如何在tensorflow上仅使用200个带标签的mnist图像,实现在一万张测试图片上99%的测试精度,原理在于使用GAN做半监督学习。前文主要介绍一些原理部分,后文详细介绍代码...
  • qq_25737169
  • qq_25737169
  • 2017-11-14 17:48:50
  • 2545

Infogan-信息最大化生成对抗网络(理论部分)

对抗生成网络(GAN)和贝叶斯变分自编码是最为主要的两种数据生成模型,目前的生成对抗网络的一些改良技术已经实现了非常逼真的图像link。 此外生成模型也是非监督学习的主要驱动力之一,假若人工神经网络...
  • dagekai
  • dagekai
  • 2016-12-31 06:11:33
  • 2124

infoGAN中的互信息是怎么回事?

  • 2017年11月24日 18:22
  • 305KB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 8万+
    积分: 1290
    排名: 3万+
    关于我