Keith

记录与分享学习点滴。 QQ:862820505 (有偿咨询)

神经网络激活函数总结

激活函数总结 sigmoid tanh ReLU Leaky ReLU Maxout ELU sigmoid数学表示: y=11+e−x y = \frac{1}{1+e^{-x}} 不建议使用,容易饱和tanh数学表示: y=e2x−1e2x+1 y = \frac{e^{2x-1}}{...

2017-03-29 14:05:24

阅读数 1152

评论数 0

pandas基本用法(一)

读取csv文件 import pandas food_info = pandas.read_csv(file_name)# 返回一个DataFrame对象 n_rows = food_info.head(n) #获取前n行数据,返回的依旧是个DataFrame column_names ...

2017-03-27 23:58:37

阅读数 4552

评论数 0

更改pip源/anaconda源:windows与linux

更改pip源 windows 在 c:\user\username\pip\pip.ini中加入 [global] index-url=https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=pypi.tu...

2017-03-27 18:21:02

阅读数 13676

评论数 1

pytorch学习笔记(三):自动求导

本片博文主要是对http://pytorch.org/docs/notes/autograd.html的部分翻译以及自己的理解,如有错误,欢迎指正! Backward过程中排除子图 pytorch的BP过程是由一个函数决定的,loss.backward(), 可以看到backward()函数里...

2017-03-27 15:04:17

阅读数 16593

评论数 4

tensorflow:embedding_lookup

embedding_lookupimport tensorflow as tfembedding = tf.get_variable("embedding", initializer=tf.ones(shape=[10, 5])) look_uop = tf.nn.embedd...

2017-03-22 15:18:47

阅读数 1687

评论数 0

全连接与卷积计算的关系(全连接到全卷积)

全连接与卷积计算的关系全连接的输入:前一层激活函数的输出 全连接的输出:下一层激活函数的输入从图中可以看出,全连接的输出维度5,可以看做卷积计算中的channel。同样也可以看出,如果我们将全连接的输入reshape成[?, ?, in_channel],并将全连接的参数reshape成[?, ...

2017-03-22 09:58:56

阅读数 7050

评论数 2

git 常用流程

关于 ssh key 第1步:创建SSH Key。在用户主目录下,看看有没有.ssh目录,如果有,再看看这个目录下有没有id_rsa和id_rsa.pub这两个文件,如果已经有了,可直接跳到下一步。如果没有,打开Shell(Windows下打开Git Bash),创建SSH Key: $ ...

2017-03-21 20:17:50

阅读数 512

评论数 0

tensorflow学习笔记(三十七):如何自定义LSTM的initial state

如何初始化LSTM的stateLSTM 需要 initial state。一般情况下,我们都会使用 lstm_cell.zero_state()来获取 initial state。但有些时候,我们想要给 lstm_cell 的 initial state 赋予我们想要的值,而不是简单的用 0 来初...

2017-03-21 17:11:37

阅读数 8610

评论数 0

python re模块常用方法总结

res = re.match(pattern, string, flags=0) #字符串的开头是否能匹配正则表达式。返回_sre.SRE_Match对象,如果 #不能匹配返回None。 # 如果匹配的话,res.string可以获得匹配中的字符串 re.sub(pattern, repl, st...

2017-03-14 23:48:18

阅读数 6181

评论数 0

tensorflow错误总结

bias = tf.get_variable("bias", shape=[out_channels], initializer=tf.zeros_initializer()) 中tf.zeros_initializer一定要加括号,不然会报错,因为tf.zeros_initi...

2017-03-14 22:55:00

阅读数 4941

评论数 1

机器学习常用术语: epoch batch_size iteration

one epoch = one forward pass and one backward pass of all the training examples batch size = the number of training examples in one forward/backward ...

2017-03-14 22:02:26

阅读数 3907

评论数 0

tensorflow学习笔记(三十六):learning rate decay

learning rate decay在训练神经网络的时候,通常在训练刚开始的时候使用较大的learning rate, 随着训练的进行,我们会慢慢的减小learning rate。对于这种常用的训练策略,tensorflow 也提供了相应的API让我们可以更简单的将这个方法应用到我们训练网络的过...

2017-03-14 21:39:26

阅读数 27334

评论数 0

tensorflow学习笔记(三十五):control flow

control flowtf.cond(pred, fn1, fn2, name=None)等价于:res = fn1() if pred else fn2()注意:pred不能使 python bool, pred是个标量Tensor 官网例子z = tf.mul(a, b) result =...

2017-03-07 21:55:38

阅读数 12579

评论数 2

Probabilistic decoder, Bayesian neural network, Probabilistic encoder

最近在看概率模型,看到这三种模型的时候老是分不开谁是谁,在此做个总结加强记忆。 Probabilistic decoder Probabilistic decoder 的概率图模型 Probabilistic decoder是通过coding theory对 likelihood(p...

2017-03-04 14:09:02

阅读数 867

评论数 0

tensorflow nan 原因总结

跑程序的时候经常碰到 loss 为 nan 的情况,在此记录一下,防止忘记踩过的坑。第一种可能: 激活函数使用 relu, 导致最后输出的值很大,exe^x 很有可能变成 nan,可以使用 cliped relu解决这个问题 第二种可能: 数据的问题,数据缺失

2017-03-04 10:41:34

阅读数 7135

评论数 4

linux 非常用命令总结

如何删除ppa(我们在安装软件的时候,教程一般都会让添加ppa源,但是几乎没有教程会告诉你怎么删除) # 添加ppa源 sudo add-apt-repository ppa:webapps/preview # 删除ppa源 方法一 sudo add-apt-repository --...

2017-03-02 15:30:26

阅读数 374

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭