关闭

阅读小结:Unsupervised Representation with Deep Convolutional Generative Adversarial Networks

标签: 对抗网络深度学习神经网络GAN
1132人阅读 评论(2) 收藏 举报
分类:

What

CNN应用于无监督学习。将这种CNN称为DCGANs

1.提出和评估了DCGANs 有一些结构上的限制,让他可以stable的去训练。

2.利用图像分类任务训练的discriminator,证明了他们有无监督学习的潜力。(这是迁移学习?)

证明了他们的adversarial pair学习到了一个  hierarchy of representations  从物体的部分到整个场景 


以下G代表 generator D代表discriminator

How

1.model上使用了4个策略:

a.使用全卷积网络,代替pooling。可以让网络去学习upsampling/downsampling的方式(使用在G和D上)

b.作者发现average pooling增加了net的稳定性但减慢了收敛速度。在D中最后一层conv结果fc,然后使用了sigmoid。

c.用batchnormalization ,有助于pool initialisation和深的网络中传递梯度。防止G把所有rand input都掉到一个局部极值。(G的输出层不用,D的输入层不用,其他都用)

d.G中除了输出使用Tanh,其他都用 ReLu  ; D中都用Leaky ReLu


关于G的实验:

1.输入有窗的图片给G

然后去除响应值高的filter,发现G会用电视啊墙啊来替代窗。

2.可以对输入算一个平均

比如 生成男人的平均vector A 和生成女人的平均 vector B  还有生成 戴墨镜的女人的平均vector C    

观察到了 C-B+A = 生成了戴墨镜的男人    (这个很合理,也很屌啊)


我写邮件给luke二作,他给我回的邮件如下


0
0
查看评论

生成式对抗网络GAN研究进展(五)——Deep Convolutional Generative Adversarial Nerworks,DCGAN

【前言】     本文首先介绍生成式模型,然后着重梳理生成式模型(Generative Models)中生成对抗网络(Generative Adversarial Network)的研究与发展。作者按照GAN主干论文、GAN应用性论文、GAN相关论文分类...
  • Solomon1558
  • Solomon1558
  • 2016-09-18 13:54
  • 22350

干货 | Generative Adversarial Networks(GAN)的现有工作

干货 | Generative Adversarial Networks(GAN)的现有工作 原创2016-02-29小S程序媛的日常程序媛的日常 今天想与大家分享的是图像生成中一些工作。这些工作都基于一大类模型,Generative Adversarial Networks(GAN)。从...
  • omnispace
  • omnispace
  • 2017-02-09 06:55
  • 1643

GANs学习系列(5): 生成式对抗网络Generative Adversarial Networks

【前言】      本文首先介绍生成式模型,然后着重梳理生成式模型(Generative Models)中生成对抗网络(Generative Adversarial Network)的研究与发展。作者按照GAN主干论文、GAN应用性论文、GAN相关论...
  • u011534057
  • u011534057
  • 2016-10-17 18:43
  • 9184

生成对抗网络学习笔记3----论文unsupervised representation learning with deep convolutional generative adversarial

论文原文:地址论文译文:地址1、阅读论文Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. Co...
  • liuxiao214
  • liuxiao214
  • 2017-06-20 16:45
  • 2263

论文笔记——UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

首先给出2篇参考译文 https://ask.julyedu.com/question/7681  http://blog.csdn.net/c2a2o2/article/details/54408056 GANs的学习系列8 本人的阅读笔记 1引言 从大规模无标签的数据集中学习可重复使...
  • aidazheng
  • aidazheng
  • 2017-05-17 16:08
  • 441

深度卷积生成式对抗网络,Deep Convolutional Generative Adversarial Nerworks

无监督学习的方法:聚类、自编码、深度置信网络生成自然图像的各类方式: 1. 非参数~The non-parametric models often do matching from a database of existing images, often matching patches of i...
  • qq_18144087
  • qq_18144087
  • 2017-07-16 14:53
  • 358

生成式模型 & 生成对抗网络——资料梳理(专访资料 + 论文分类)

文献整理   题目 主要内容                         ...
  • Solomon1558
  • Solomon1558
  • 2016-08-27 23:52
  • 14973

DCGAN论文笔记+源码解析

DCGAN,Deep Convolutional Generative Adversarial Networks是生成对抗网络(Generative Adversarial Networks)的一种延伸,将卷积网络引入到生成式模型当中来做无监督的训练,利用卷积网络强大的特征提取能力来提高生成网络的学...
  • wspba
  • wspba
  • 2017-01-25 22:55
  • 5010

论文笔记:unsupervised representation learning with deep convolutional generative adversarial networks

1. previous work [generative adversarial nets] paper link: http://arxiv.org/pdf/1406.2661v1.pdf  torch implementation: https://github...
  • lebula
  • lebula
  • 2016-10-18 11:27
  • 1039

AdversarialNetsPapers

The classical Papers about adversarial nets The First paper ✅ [Generative Adversarial Nets] [Paper][Code](the first paper about it) Unclassified ...
  • roslei
  • roslei
  • 2017-06-15 17:38
  • 880
    个人资料
    • 访问:76961次
    • 积分:1155
    • 等级:
    • 排名:千里之外
    • 原创:33篇
    • 转载:0篇
    • 译文:3篇
    • 评论:45条
    文章分类
    关于我