- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 深度学习(四十七)DSD正则化训练方法
这几年DNNs在诸多领域取得了重大突破,从计算机视觉到自然语言、语音识别,网络正则化是提高网络泛化能力的重要方法,深度学习常见正则化方法包括drop out、L2等正则。本文主要提出了一种DSD深度网络正则化训练方法。训练方法如下:(1)采用普通稠密网络进行训练;(2)网络修剪(权值比较小的全部修剪掉),转换成稀疏网络,然后进行训练;(3)释放稀疏约束,重新转化成稠密网络进行训练。
2017-01-15 20:33:29 2287
原创 深度学习(四十六)Adversarial Autoencoders学习笔记
如上图所示,x、z分别表示输入样本输入、编码向量z。p(z)是我们希望加入的潜变量先验分布,q(z|x)是编码分布函数,p(x|z)是解码分布函数,pd(x)表示真实的数据分布,p(x)表示模型数据分布。自编码网络编码函数q(z|x)。对抗自编码网络的每个mini-batch训练可以分成两个过程:
2017-01-13 18:58:45 12632 4
原创 深度学习(四十五)条件对抗网络
本文主要简单讲解文献:《Conditional Generative Adversarial Nets》,算法比较简单,只要懂对抗网络,基本上几分钟就可以看懂条件对抗网络的实现。一、算法概述在无条件对抗网络中,生成采样的样本是随机的,我们无法控制具体生成什么样的图片。加入条件模型,主要是直接在生成网络、判别网络中输入层中,分别加入额外的标签信息条件y,当然也可以是其它任意的条件信息。比如我们需要指定生成网络G用于生成一张具有微笑表情的人脸图片;同样的,D网络需要判别一张输入的图片,是否是一张具有微笑的伪
2017-01-13 13:58:47 5431
原创 深度学习(四十三)条件变分自编码器概述
目前深度学习主要以有监督学习为主,有监督需要大量的标注样本数据,我们做项目的时候,一般没有那么多数据。深度生成模型目前比较经典的有:对抗网络、变分自编码器、DBN(deep belief networks),主要应用于半监督、无监督学习,比如《Variational Autoencoder for Deep Learning of Images, Labels and Captions》、《Semi-supervised Learning with Deep Generative Models》。可能大家觉
2017-01-05 18:54:31 11324 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人