阅读小结:Unsupervised Representation with Deep Convolutional Generative Adversarial Networks

What

CNN应用于无监督学习。将这种CNN称为DCGANs

1.提出和评估了DCGANs 有一些结构上的限制,让他可以stable的去训练。

2.利用图像分类任务训练的discriminator,证明了他们有无监督学习的潜力。(这是迁移学习?)

证明了他们的adversarial pair学习到了一个  hierarchy of representations  从物体的部分到整个场景 


以下G代表 generator D代表discriminator

How

1.model上使用了4个策略:

a.使用全卷积网络,代替pooling。可以让网络去学习upsampling/downsampling的方式(使用在G和D上)

b.作者发现average pooling增加了net的稳定性但减慢了收敛速度。在D中最后一层conv结果fc,然后使用了sigmoid。

c.用batchnormalization ,有助于pool initialisation和深的网络中传递梯度。防止G把所有rand input都掉到一个局部极值。(G的输出层不用,D的输入层不用,其他都用)

d.G中除了输出使用Tanh,其他都用 ReLu  ; D中都用Leaky ReLu


关于G的实验:

1.输入有窗的图片给G

然后去除响应值高的filter,发现G会用电视啊墙啊来替代窗。

2.可以对输入算一个平均

比如 生成男人的平均vector A 和生成女人的平均 vector B  还有生成 戴墨镜的女人的平均vector C    

观察到了 C-B+A = 生成了戴墨镜的男人    (这个很合理,也很屌啊)


我写邮件给luke二作,他给我回的邮件如下


评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Layumi1993

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值