排序:
默认
按更新时间
按访问量

14-循环神经网络及tensorflow

Recurrent Neural Networks 循环神经网络很像前向神经网络,但是不同的是神经元有连接回指。 循环神经网络用LSTM和GRU单元解决梯度爆炸\消失问题 循环神经元(Recurrent Neurons) 如图左边,一个循环神经元可以把自己的输出,作为自身的输入,但是...

2018-06-18 17:15:09

阅读数:135

评论数:0

11-训练深度神经网络的一些技巧

梯度消失和梯度爆炸 解决办法:Xavier初始化和He初始化 ReLU的优点和缺点 隐层中使用激活函数的策略 Batch Normalization 梯度修剪 梯度消失和梯度爆炸 在反向传播算法计算cost函数的对每个参数的梯度误差之后,在更新参数的时候,随着越来越到低层,梯...

2018-06-11 16:51:08

阅读数:97

评论数:0

15-tensorflow实现各种自编码器及技巧

用编码器做PCA 隐层的特点:线性激活函数 代码: 预先声明的函数和包 # To support both python 2 and python 3 from __future__ import division, print_function, unicode_literals ...

2018-06-05 07:56:07

阅读数:191

评论数:0

InfoGAN

Written by title date zhengchu1994 《InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversari...

2018-05-24 14:50:38

阅读数:111

评论数:0

变分自编码器记录与tensorflow代码及pytorch代码分析

Written by title date (我的github地址)zhengchu1994 《Tutorial on Variational Autoencoders》 2018-05-13 生成模型 生成模型,即,一个数据分布为P的模型,P...

2018-05-17 15:13:11

阅读数:257

评论数:0

12-卷积网络基本概念及tensorflow代码+pytorch代码

convolutional neural networks 一、卷积神经网络的结构 A. 卷积层(Convolutional Layer) 我们知道对于给定的一幅图像来说,给定一个卷积核,卷积就是根据卷积窗口,进行像素的加权求和。深度学习中的卷积神经网络卷积核是未知的,我们训练一个神经...

2018-04-15 10:20:48

阅读数:125

评论数:0

10_introduction_to_artificial_neural_networks

introduction to artificial neural networks # To support both python 2 and python 3 from __future__ import division, print_function, unicode_litera...

2018-01-05 19:13:03

阅读数:278

评论数:0

scipy:csr_matrix稀疏行矩阵

>>> import numpy as np >>> from scipy.sparse import csr_matrix >&am...

2018-09-16 13:11:01

阅读数:8

评论数:0

稀疏标签的交叉熵 :tensorflow

熵 : 离散形式: H(X)≡−∑k=1KP(X=k)logP(X=k)H(X)≡−∑k=1KP(X=k)log⁡P(X=k)H(X)\equiv - \sum_{k=1}^KP(X=k)\log{P(X=k)} KL散度: KL(P||Q)=∑k=1KPklogPkQk=∑k=1...

2018-09-15 13:28:47

阅读数:13

评论数:0

torch记录:张量、采样、操作

Tensors (张量) Indexing, Slicing, Joining, Mutating Ops (索引, 切片, 连接, 换位) 操作 Math operations (数学操作) Other Operations (其它操作) 参考:http://pyto...

2018-08-31 19:17:33

阅读数:23

评论数:0

torch记录:torch.nn模块

Recurrent layers class torch.nn.RNN(*args, **kwargs) 参数: input_size – 输入x的特征数量。 hidden_size – 隐层的特征数量。 num_layers – RNN的层数。 bidirectional – ...

2018-08-31 16:00:21

阅读数:53

评论数:0

wasserstein 距离

注明:直观理解而已,正儿八经的严谨证明看最下面的参考。 Earth Mover’s Distance 推土机距离的例子:有一堆土的分布是 PrPrP_r, 其随机变量是xxx,现在要求把这堆土挪动成为分布 PgPgP_g ,其随机变量是yyy(图上是PθPθP_\theta),这样...

2018-08-25 20:47:32

阅读数:88

评论数:0

机器学习的预处理

这里的主要问题是:什么样的数据需要做什么样的预处理? 训练机器学习模型的四个步骤 计算数据特征的相对重要性 评估共享单车的需求分布 这里的主要问题是:什么样的数据需要做什么样的预处理? 答:比如数据归一化,在实际应用中,通过梯度下降求解的模型通常需要归一化,包括线性回归、逻...

2018-08-24 18:48:34

阅读数:60

评论数:0

numpy API: numpy.flipud

numpy API: numpy.flipud Flip array in the up/down direction. 对数组进行上下翻转。 例子: A = np.random.randn(2,3,5) # 相当于从最后一个元素开始翻转 A[::-1] array([[[ 0.726...

2018-08-24 17:41:22

阅读数:28

评论数:0

NetGan

1. Introduction 问题 Dong, Yuxiao, Johnson, Reid A, Xu, Jian, and Chawla, Nitesh V. Structural diversity and homophily: A study across more than ...

2018-07-18 19:52:56

阅读数:87

评论数:0

gym安装出错:pip install gym[atari] 报错解决方法

运行import gym 没问题,但是 env = gym.make('MsPacman-v0') 报错, 安装依赖的包: sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb...

2018-07-17 21:34:42

阅读数:300

评论数:0

强化学习安装测试

NotImplementedError: abstract修正: pip install pyglet==1.2.4 测试代码: import gym from gym import wrappers env = gym.make('CartPole-v0') env = wrapper...

2018-07-15 22:15:56

阅读数:40

评论数:0

ubuntu:anaconda添加国内源等

安装 下载后直接按照说明安装即可。这里想提醒一点:尽量按照Anaconda默认的行为安装——不使用root权限,仅为个人安装,安装目录设置在个人主目录下(Windows就无所谓了)。这样的好处是,同一台机器上的不同用户完全可以安装、配置自己的Anaconda,不会互相影响。 Anaconda修...

2018-07-15 21:37:58

阅读数:142

评论数:0

贝叶斯推断

贝叶斯推断 贝叶斯模型观点:参数模型q(x;θ)q(x;θ)q(x;\theta) 中的参数 θθ\theta 是被确定的变量(deterministic variable)。 贝叶斯预测分布 训练样本是 D={xi}ni=1D={xi}i=1n\mathcal D= \{x_i\}_{...

2018-07-09 20:25:20

阅读数:39

评论数:0

Relational inductive biases, deep learning, and graph networks

Written by title date zhengchu1994 《Relational inductive biases, deep learning, and graph networks》 2018-7-3 20:45:41 Intro...

2018-07-06 07:22:22

阅读数:161

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭