14-循环神经网络及tensorflow

Recurrent Neural Networks 循环神经网络很像前向神经网络,但是不同的是神经元有连接回指。 循环神经网络用LSTM和GRU单元解决梯度爆炸\消失问题 循环神经元(Recurrent Neurons) 如图左边,一个循环神经元可以把自己的输出,作为自身的输入,但是...

2018-06-18 17:15:09

阅读数:175

评论数:0

11-训练深度神经网络的一些技巧

梯度消失和梯度爆炸 解决办法:Xavier初始化和He初始化 ReLU的优点和缺点 隐层中使用激活函数的策略 Batch Normalization 梯度修剪 梯度消失和梯度爆炸 在反向传播算法计算cost函数的对每个参数的梯度误差之后,在...

2018-06-11 16:51:08

阅读数:174

评论数:0

15-tensorflow实现各种自编码器及技巧

用编码器做PCA 隐层的特点:线性激活函数 代码: 预先声明的函数和包 # To support both python 2 and python 3 from __future__ import division, print_function, unicode_literals ...

2018-06-05 07:56:07

阅读数:272

评论数:0

InfoGAN

Written by title date zhengchu1994 《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversari...

2018-05-24 14:50:38

阅读数:155

评论数:0

变分自编码器记录与tensorflow代码及pytorch代码分析

Written by title date (我的github地址)zhengchu1994 《Tutorial on Variational Autoencoders》 2018-05-13 生成模型 ...

2018-05-17 15:13:11

阅读数:427

评论数:0

12-卷积网络基本概念及tensorflow代码+pytorch代码

convolutional neural networks 一、卷积神经网络的结构 A. 卷积层(Convolutional Layer) 我们知道对于给定的一幅图像来说,给定一个卷积核,卷积就是根据卷积窗口,进行像素的加权求和。深度学习中的卷积神经网络卷积核是未知的,我们训练一个神经...

2018-04-15 10:20:48

阅读数:152

评论数:0

10_introduction_to_artificial_neural_networks

introduction to artificial neural networks # To support both python 2 and python 3 from __future__ import division, print_function, unicode_litera...

2018-01-05 19:13:03

阅读数:295

评论数:0

VAE|VGAN

https://juejin.im/post/598972735188256de4693951 https://cloud.tencent.com/developer/article/1096650 我们想要的是构建一个生成式模型,而非仅仅是“记忆”图像数据的模糊结构。除了像前面那样从已有图像中编...

2018-10-24 17:44:11

阅读数:18

评论数:0

wasserstein 距离

注明:直观理解而已,正儿八经的严谨证明看最下面的参考。 Earth Mover’s Distance 推土机距离的例子:有一堆土的分布是 PrPrP_r, 其随机变量是xxx,现在要求把这堆土挪动成为分布 PgPgP_g ,其随机变量是yyy(图上是PθPθP_\theta),这样...

2018-08-25 20:47:32

阅读数:381

评论数:0

tensorflow实现正则化 来避免训练过拟合

L1 和 L2 正则化 对神经网络中之后连接权重做限制,比如对只有一个隐层的神经网络做L1正则: reset_graph() n_inputs = 28 * 28 # MNIST n_hidden1 = 300 n_outputs = 10 learning_rate = 0.01 X =...

2018-06-13 20:49:50

阅读数:396

评论数:0

简单理解CNNs的结构,转置卷积 ,附上tensorflow实现

Written by title date zhengchu1994 《A guide to convolution arithmetic for deep learning》 2018-05-26 15:46:30 仿射变换(affine ...

2018-06-05 08:27:50

阅读数:255

评论数:0

条件变分自编码器CVAE

Written by title date zhengchu1994 《Tutorial on Variational Autoencoders》 2018-05-19 intuition 给定字符’2’,原始的VAE并不能生成数字为2的手...

2018-05-19 11:16:31

阅读数:1233

评论数:3

条件生成对抗网络记录与tensorflow代码及pytorch代码分析

Written by title date NockinOnHeavensDoor 《Conditional Generative Adversarial Nets》 2018-5-16 06:38:33 公式及结构 在GAN中的两个神经网络分...

2018-05-16 08:39:52

阅读数:142

评论数:0

GANs:原始生成对抗网络论文分析及tensorflow、pytorch代码解析

先给出记录的原论文笔记。 - 生成式对抗网络 GAN (Generative adversarial networks):由一个生成器(generator)和一个判别器(discriminator)构成. 生成器捕捉真实数据样本的潜在分布(latent distribution), 并生成伪...

2018-05-07 08:17:47

阅读数:206

评论数:0

tensorflow API:tf.nn.softmax_cross_entropy_with_logits()等各种损失函数

Loss function * 在机器学习中,loss function(损失函数)也称cost function(代价函数),是用来计算预测值和真实值的差距。 * 然后以loss function的最小值作为目标函数进行反向传播迭代计算模型中的参数,这个让loss function的...

2018-04-28 21:52:27

阅读数:231

评论数:0

Word2vec tutorial implementation

基于这篇教程写的代码分析:http://adventuresinmachinelearning.com/word2vec-tutorial-tensorflow/ The Word2Vec methodology two components to the Word2Vec method...

2018-01-08 20:31:22

阅读数:168

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭