- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 深度学习（四十七）DSD正则化训练方法
这几年DNNs在诸多领域取得了重大突破，从计算机视觉到自然语言、语音识别，网络正则化是提高网络泛化能力的重要方法，深度学习常见正则化方法包括drop out、L2等正则。本文主要提出了一种DSD深度网络正则化训练方法。训练方法如下：(1)采用普通稠密网络进行训练；(2)网络修剪(权值比较小的全部修剪掉)，转换成稀疏网络，然后进行训练；(3)释放稀疏约束，重新转化成稠密网络进行训练。
2017-01-15 20:33:29
2233
原创 深度学习（四十六）Adversarial Autoencoders学习笔记
如上图所示，x、z分别表示输入样本输入、编码向量z。p(z)是我们希望加入的潜变量先验分布，q(z|x)是编码分布函数，p(x|z)是解码分布函数，pd(x)表示真实的数据分布，p(x)表示模型数据分布。自编码网络编码函数q(z|x)。对抗自编码网络的每个mini-batch训练可以分成两个过程：
2017-01-13 18:58:45
12524
4
原创 深度学习（四十五）条件对抗网络
本文主要简单讲解文献：《Conditional Generative Adversarial Nets》，算法比较简单，只要懂对抗网络，基本上几分钟就可以看懂条件对抗网络的实现。一、算法概述在无条件对抗网络中，生成采样的样本是随机的，我们无法控制具体生成什么样的图片。加入条件模型，主要是直接在生成网络、判别网络中输入层中，分别加入额外的标签信息条件y，当然也可以是其它任意的条件信息。比如我们需要指定生成网络G用于生成一张具有微笑表情的人脸图片；同样的，D网络需要判别一张输入的图片，是否是一张具有微笑的伪
2017-01-13 13:58:47
5325
原创 深度学习（四十三）条件变分自编码器概述
目前深度学习主要以有监督学习为主，有监督需要大量的标注样本数据，我们做项目的时候，一般没有那么多数据。深度生成模型目前比较经典的有：对抗网络、变分自编码器、DBN(deep belief networks)，主要应用于半监督、无监督学习，比如《Variational Autoencoder for Deep Learning of Images, Labels and Captions》、《Semi-supervised Learning with Deep Generative Models》。可能大家觉
2017-01-05 18:54:31
11203
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人