自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

转载 sigmoid非线性激活

个人理解,其一是作数据的归一化。不管前面的线性部分做了怎样的工作,到了非线性这里,所有的数值将被限制在一个范围内,这样后面的网络层如果要基于前面层的数据继续计算,这个数值就相对可控了。其二就是打破之前的线性映射关系。如果全连接层没有非线性部分,只有线性部分,我们在模型中叠加多层神经网络是没有意义的...

2018-07-22 10:55:51 670 1

转载 embedding

其目的就是将要表示的东西进行向量化表示。原来每个字用一个ID表示,这样能表示的信息太少了,不能够表达词所在语料内更多的意思,比如和那个词更相近。通过词嵌套将一个单一的ID表示为一个128纬度(此处是128)的向量,能够表达更多的意思。词嵌套是向量化的一个重要手段,这个技巧一定要掌握的。  ...

2018-07-22 10:55:12 858

原创 LSTM初学(二)

一、激活函数1.sigmoid数学形式:f(x)=1/(1+e^(-x))2.tanh数学形式:f(x)=2/(1+e^(-2x))-1LSTM中应用了这两种激活函数,sigmoid 用在各种gate上,产生0~1之间的值,而tanh 用在状态和输出上,是对数据的处理,这个用其他激活函数或许也可以。2.Relu数学形式:f(x)=max(0,x)...

2018-03-27 09:44:42 228

转载 LSTM初学(一)

转载:http://www.infoq.com/cn/articles/introduction-of-tensorflow-part05?utm_source=articles_about_TensorFlow&utm_medium=link&utm_campaign=TensorFlow1.LSTM在读取数据时,将原始数据中的单词转化为单词ID(就像词典一样,每个单词有一个ID)2.理

2018-01-31 19:47:47 256

原创 Tensorflow提供的reader库

错误1: import reader,会遇到提示no model错误,是因为reader.py文件所在的位置不对,代码无法读取。只要将/models/tutorials/rnn/ptb中的几个文件复制到/anaconda3/envs/tensorflow/lib/python3.6/site-packages中即可。   错误2:TypeError: a bytes-like object i

2018-01-31 19:14:58 818

原创 Tensorflow初学 数据的读取

Tensorflow中数据的读取很简单,只要把下载的数据集放在代码所在的文件夹,就可以轻松完成数据的读取。下面举个读取数据的例子:    本段代码使用ptb_raw_data函数来读取PTB的原始数据,并将原始数据中的单词转化为单词ID。#-*-coding:utf-8-*-import reader# 存放原始数据的路径。DATA_PATH = "simple-examples

2018-01-31 16:58:14 297

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除