阅读小结:Unsupervised Representation with Deep Convolutional Generative Adversarial Networks

原创 2016年08月27日 22:38:32

What

CNN应用于无监督学习。将这种CNN称为DCGANs

1.提出和评估了DCGANs 有一些结构上的限制,让他可以stable的去训练。

2.利用图像分类任务训练的discriminator,证明了他们有无监督学习的潜力。(这是迁移学习?)

证明了他们的adversarial pair学习到了一个  hierarchy of representations  从物体的部分到整个场景 


以下G代表 generator D代表discriminator

How

1.model上使用了4个策略:

a.使用全卷积网络,代替pooling。可以让网络去学习upsampling/downsampling的方式(使用在G和D上)

b.作者发现average pooling增加了net的稳定性但减慢了收敛速度。在D中最后一层conv结果fc,然后使用了sigmoid。

c.用batchnormalization ,有助于pool initialisation和深的网络中传递梯度。防止G把所有rand input都掉到一个局部极值。(G的输出层不用,D的输入层不用,其他都用)

d.G中除了输出使用Tanh,其他都用 ReLu  ; D中都用Leaky ReLu


关于G的实验:

1.输入有窗的图片给G

然后去除响应值高的filter,发现G会用电视啊墙啊来替代窗。

2.可以对输入算一个平均

比如 生成男人的平均vector A 和生成女人的平均 vector B  还有生成 戴墨镜的女人的平均vector C    

观察到了 C-B+A = 生成了戴墨镜的男人    (这个很合理,也很屌啊)


我写邮件给luke二作,他给我回的邮件如下


版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

阅读小结:Generative Adversarial Nets

这是Ian Goodfellow大神的2014年的paper,最近很火,一直没看,留的坑。 中文应该叫做对抗网络 What: 同时驯良两个模型:一个生成模型G(获得数据分布),一个区分模型D(预测...

Generative Adversarial Nets论文笔记+代码解析

前面在Generative Adversarial Nets(译)一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译,在翻译的过程中,遇到的不少的问题,也有一...
  • wspba
  • wspba
  • 2017-01-17 18:34
  • 2518

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

RCNN学习笔记(0):rcnn简介

reference link:http://blog.csdn.net/shenxiaolu1984/article/details/51066975 Region CNN(RCNN)可以说是利用深...

【深度学习】生成对抗网络Generative Adversarial Nets

介绍非监督深度学习经典论文GAN(Generative Adversarial Nets)

Conditional Generative Adversarial Nets论文笔记

我们希望得到一种条件型的生成对抗网络,通过给GAN中的G和D增加一些条件性的约束,来解决训练太自由的问题。
  • wspba
  • wspba
  • 2017-01-22 17:22
  • 1530

【TensorFlow】Windows环境下PyCharm运行TensorFlow GPU版(附TensorFlow更新方法)

作为一名谷粉再加上最近研究深度学习,不得不说TensorFlow是一个很好的切入点,今天看了下官方教程踩了几个坑后,终于在PyCharm上起飞了,废话不多说下面开始搭建环境吧。(此教程Win10,8....

目标检测的图像特征提取之(一)HOG特征

目标检测的图像特征提取之(一)HOG特征 zouxy09@qq.com 1、HOG特征:        方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一...

Generative Adversarial Nets(译)

我们提出了一个通过对抗过程估计生成模型的新框架,在新框架中我们同时训练两个模型:一个用来捕获数据分布的生成模型G,和一个用来估计样本来自训练数据而不是G的概率的判别模型D,G的训练过程是最大化D产生错...
  • wspba
  • wspba
  • 2017-01-16 20:42
  • 2569
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)