- 博客(6)
- 收藏
- 关注
RSS订阅转载 sigmoid非线性激活
个人理解，其一是作数据的归一化。不管前面的线性部分做了怎样的工作，到了非线性这里，所有的数值将被限制在一个范围内，这样后面的网络层如果要基于前面层的数据继续计算，这个数值就相对可控了。其二就是打破之前的线性映射关系。如果全连接层没有非线性部分，只有线性部分，我们在模型中叠加多层神经网络是没有意义的...
2018-07-22 10:55:51
670
1
转载 embedding
其目的就是将要表示的东西进行向量化表示。原来每个字用一个ID表示，这样能表示的信息太少了，不能够表达词所在语料内更多的意思,比如和那个词更相近。通过词嵌套将一个单一的ID表示为一个128纬度(此处是128)的向量，能够表达更多的意思。词嵌套是向量化的一个重要手段，这个技巧一定要掌握的。 ...
2018-07-22 10:55:12
858
原创 LSTM初学（二）
一、激活函数1.sigmoid数学形式：f(x)=1/(1+e^(-x))2.tanh数学形式：f(x)=2/(1+e^(-2x))-1LSTM中应用了这两种激活函数，sigmoid 用在各种gate上，产生0~1之间的值，而tanh 用在状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。2.Relu数学形式：f(x)=max(0,x)...
2018-03-27 09:44:42
228
转载 LSTM初学（一）
转载：http://www.infoq.com/cn/articles/introduction-of-tensorflow-part05?utm_source=articles_about_TensorFlow&utm_medium=link&utm_campaign=TensorFlow 1.LSTM在读取数据时，将原始数据中的单词转化为单词ID（就像词典一样，每个单词有一个ID） 2.理
2018-01-31 19:47:47
256
原创 Tensorflow提供的reader库
错误1： import reader，会遇到提示no model错误，是因为reader.py文件所在的位置不对，代码无法读取。只要将/models/tutorials/rnn/ptb中的几个文件复制到/anaconda3/envs/tensorflow/lib/python3.6/site-packages中即可。 错误2：TypeError: a bytes-like object i
2018-01-31 19:14:58
818
原创 Tensorflow初学 数据的读取
Tensorflow中数据的读取很简单，只要把下载的数据集放在代码所在的文件夹，就可以轻松完成数据的读取。下面举个读取数据的例子： 本段代码使用ptb_raw_data函数来读取PTB的原始数据，并将原始数据中的单词转化为单词ID。 #-*-coding:utf-8-*- import reader # 存放原始数据的路径。 DATA_PATH = "simple-examples
2018-01-31 16:58:14
297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人