深度学习——激活函数

激活函数值应该是zero-centeredSigmoid激活函数值全正,并不以0为中心。这会导致参数梯度要么全为正,要么全为负。见cs231n的Lecture 5 34-35页.

2017-06-30 17:04:33

阅读数 589

评论数 0

Pytorch——把模型的所有参数的梯度清0

有两种方式直接把模型的参数梯度设成0:model.zero_grad() optimizer.zero_grad()#当optimizer=optim.Optimizer(model.parameters())时,两者等效如果想要把某一Variable的梯度置为0,只需用以下语句:Variable...

2017-06-30 09:00:24

阅读数 3465

评论数 0

Pytorch学习系列(八)——训练神经网络

训练神经网络的训练主要包含以下语句:if cuda: model.cuda() model.train()#把模型的状态设置为训练状态,主要针对Dropout层 optimizer = torch.optim.SGD((model.parameters(), lr=lr, momentum...

2017-06-29 17:05:42

阅读数 5874

评论数 1

人工智能数据集描述——SVHN

SVHN数据集包含train文件接,test文件夹以及extra文件夹。分别包含33402、13068、202353个标记图片。每个文件夹中包含 图片,图片以*.png命名; 一个digitStruct.mat文件 文件中的数据的组织结构大概如下: digitMat = load('digitS...

2017-06-29 10:49:02

阅读数 7083

评论数 1

比赛

1、国内比赛 https://biendata.com/

2017-06-28 21:37:07

阅读数 353

评论数 0

Python有趣的现象——x+=y VS x=x+y

对于列表,有以下现象:>>>x = [1,2,3] >>>y=x >>>x += [4] >>>x [1,2,3,4] >>>y [1,2,3,4] >>>x = x+[5] >>...

2017-06-28 20:42:49

阅读数 1382

评论数 0

自问自答3——深度学习中如何避免梯度消失(待回答)

上一问中,我们回答了为什么要避免梯度爆炸/消失现象。那么为了避免这种现象的发生,我们必须知道这种现象的源头。所以这一节我们要探讨为什么会发生梯度爆炸/消失?或者等价地说成什么情况下会发生梯度爆炸/消失?

2017-06-22 17:12:24

阅读数 1209

评论数 0

自问自答2——深度学习中梯度消失/爆炸为什么是一个问题?(待完善)

我们知道SGD只是用来求解优化问题的一种方法:沿着负梯度方向找到损失最小值。所以SGD的核心就是计算梯度以得到参数更新。而在深层神经网络中,反向传播时很容易发生梯度消失或者梯度爆炸的问题。我们认为这两种情况是非常危险的,要极力避免。 无论梯度消失或者梯度爆炸,这些梯度仍旧指引着使得损失减小的参数...

2017-06-22 17:07:24

阅读数 2499

评论数 0

深度学习——Batch Normalization

参考[1] Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift. Sergey Ioffe, Christian Szegedy. 2015. [2] 博客:B...

2017-06-22 10:05:11

阅读数 367

评论数 0

深度学习之优化——高维非凸优化中的鞍点问题

Identifying and attacking the saddle point problem in high-dimensional non-convex optimization Yann Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyungh...

2017-06-20 09:13:52

阅读数 1560

评论数 0

Python第三方库h5py——读取mat文件并显示值

mat数据格式是Matlab默认保存的数据格式。在Python中,我们可以使用h5py库来读取mat文件。>>> import h5py >>> data = h5py.File("**.mat") >>> test = d...

2017-06-19 11:26:25

阅读数 6016

评论数 0

人工智能资料

1、Artificial Intelligence: Reinforcement Learning in Python

2017-06-18 15:11:31

阅读数 546

评论数 0

Python中奇怪的现象

1、特殊构造的列表的元素不可以自加>>>x = [[0, 0, 0, 0]] *4 >>>x[0][0] += 1 >>>x [[1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0], [1, 0, 0, 0]]上面本...

2017-06-15 11:19:11

阅读数 366

评论数 0

自然语言处理工具NLTK——句子tokenize

>>> nltk.word_tokenize("Girls are happy!") ['Girls', 'are', 'happy', '!']

2017-06-14 23:50:30

阅读数 740

评论数 0

自然语言处理工具NLTK——提取单词的主干

nltk.stem.WordNetLemmatizer类:用于提取单词的主干>>> nltk.stem.WordNetLemmatizer().lemmatize('loving')#第二个参数表示POS,默认为NOUN 'loving' >>> nltk.st...

2017-06-14 17:03:38

阅读数 3633

评论数 0

自然语言处理资料

1、Speech and Language Processing第三版:作者Jurafsky

2017-06-14 12:10:56

阅读数 294

评论数 0

自然语言处理比赛

1、Fake News Challenge

2017-06-13 22:41:15

阅读数 833

评论数 0

深度学习之参数初始化(二)——Kaiming初始化

2017-06-13 11:36:34

阅读数 7469

评论数 0

C——判断空行

假设空行里面可以有’ ‘、’\t’和’\n’字符。现在用字符串存储读取的文件行,那么怎么判断是否读取到空行呢?#include <string.h> char* line; if(strspn(line, " \t\n")==strlen(line)){ p...

2017-06-13 10:18:52

阅读数 3082

评论数 0

深度学习之参数初始化(一)——Xavier初始化

Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua Bengio in AISTATS 2010.本文介绍一下深度学习参数初始化问题中耳熟能详的参数初...

2017-06-10 18:28:19

阅读数 26306

评论数 11

提示
确定要删除当前文章?
取消 删除
关闭
关闭