阅读小结:Unsupervised Representation with Deep Convolutional Generative Adversarial Networks

原创 2016年08月27日 22:38:32

What

CNN应用于无监督学习。将这种CNN称为DCGANs

1.提出和评估了DCGANs 有一些结构上的限制,让他可以stable的去训练。

2.利用图像分类任务训练的discriminator,证明了他们有无监督学习的潜力。(这是迁移学习?)

证明了他们的adversarial pair学习到了一个  hierarchy of representations  从物体的部分到整个场景 


以下G代表 generator D代表discriminator

How

1.model上使用了4个策略:

a.使用全卷积网络,代替pooling。可以让网络去学习upsampling/downsampling的方式(使用在G和D上)

b.作者发现average pooling增加了net的稳定性但减慢了收敛速度。在D中最后一层conv结果fc,然后使用了sigmoid。

c.用batchnormalization ,有助于pool initialisation和深的网络中传递梯度。防止G把所有rand input都掉到一个局部极值。(G的输出层不用,D的输入层不用,其他都用)

d.G中除了输出使用Tanh,其他都用 ReLu  ; D中都用Leaky ReLu


关于G的实验:

1.输入有窗的图片给G

然后去除响应值高的filter,发现G会用电视啊墙啊来替代窗。

2.可以对输入算一个平均

比如 生成男人的平均vector A 和生成女人的平均 vector B  还有生成 戴墨镜的女人的平均vector C    

观察到了 C-B+A = 生成了戴墨镜的男人    (这个很合理,也很屌啊)


我写邮件给luke二作,他给我回的邮件如下


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

生成对抗网络学习笔记3----论文unsupervised representation learning with deep convolutional generative adversarial

论文原文:地址论文译文:地址1、阅读论文Radford A, Metz L, Chintala S. Unsupervised Representation Learning with Deep Co...

论文笔记:unsupervised representation learning with deep convolutional generative adversarial networks

1. previous work [generative adversarial nets] paper link: http://arxiv.org/pdf/1406.2661v1.pdf  t...
  • lebula
  • lebula
  • 2016年10月18日 11:27
  • 870

挖坑:UNSUPERVISED AND SEMI-SUPERVISED LEARNING WITH CATEGORICAL GENERATIVE ADVERSARIAL NETWORKS

Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks

阅读小结:InfoGAN:Interpretable Representation Learning by Information Maximising Generative Adversarial

之前GAN中都没有加入分类信息,都是耍流氓啊。用原始maxD的时候,G学到的容易收敛到一个固定图像。 而用feature matching的话,相同向量可能每次match的都不同,这怎么regress...

ImageNet Classification with Deep Convolutional Neural Networks 阅读笔记

这篇发表于NIPS2012的文章,是Hinton与其学生为了回应别人对于deep learning的质疑而将deep learning用于ImageNet(图像识别目前最大的数据库)上,最终取得了非常...

论文阅读(1)——ImageNet Classification with Deep Convolutional Neural Networks

这篇论文主要讲的是Hinton和他的学生在参加LSVRC-2010和2012比赛中用到的网络结构。 主要分为以下几个方面:1.ReLU非饱和非线性激活函数这里主要讲的是ReLU函数相对与传统的sig...

ImageNet Classification with Deep Convolutional Neural Networks AlexNet阅读笔记

论文原文:ImageNet Classification with Deep Convolutional Neural Networks 网络模型名字:AlexNet 1、简介     2012年...
  • XZZPPP
  • XZZPPP
  • 2016年08月02日 10:06
  • 1566

【文献阅读】Perceptual Generative Adversarial Networks for Small Object Detection –CVPR-2017

Perceptual Generative Adversarial Networks for Small Object Detection 2017CVPR 新鲜出炉的paper,这是针对small ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:阅读小结:Unsupervised Representation with Deep Convolutional Generative Adversarial Networks
举报原因:
原因补充:

(最多只允许输入30个字)