深度学习
土豆钊
求知若渴,大智若愚
展开
-
白话RNN系列(二)
紧接白话谈RNN系列(一)上文讨论了基础的全连接神经网络,本文,我们来说说RNN。首先,RNN相比于普通的神经网络,有什么改进?两点比较突出:权值共享和隐层神经元节点的有序连接。直接上图,浅显易懂:上图,摘自深度学习(花书),左侧图和右侧图表达了相同的含义,我们以右侧图为例,并配合实例,对RNN进行透彻的分析,我尽可能以很通俗移动的方式把RNN讲明白。从本图中,我们很清...原创 2019-01-19 19:30:55 · 620 阅读 · 1 评论 -
白话RNN系列(三)
紧接上文,白话RNN系列(二)。通过generateData得到我们的样本数据之后,我们开始搭建自己的RNN:# 每个批次输入的数据,这里定义为5,即每个批次输入5个数据batch_size = 5# RNN中循环的次数,即时间序列的长度# 这里取长度为15的时间序列truncated_backprop_length = 15# 与时间序列相对应,占位符的维度为 5 * 15...原创 2019-01-19 21:33:41 · 390 阅读 · 0 评论 -
白话RNN系列(四)
本文,谈谈RNN的一个变种,也是目前使用比较广泛的神经网络LSTM,我们首先描述下LSTM的基本结构,然后给出一个具体的使用LSTM的例子,帮助大家尽快掌握LSTM的原理和基本使用方法;这可能是一张大家熟悉地不能再熟悉的图片了。我们可以将其与RNN的基本结构进行对比: 我们可以看到区别:RNN中,每个循环体会产生一份输出,即隐藏状态;最终输出由此隐藏状态产出,同时,隐藏状态会保...原创 2019-01-20 19:00:47 · 524 阅读 · 0 评论 -
白话RNN系列(五)
前文,对于LSTM的结构进行了系统的介绍,本文,通过一个MNIST_data的例子,争取能够把LSTM的基本使用来吃透。import tensorflow as tfimport input_data# 导入 MINST 数据集# from tensorflow.examples.tutorials.mnist import input_data# one_hot=True,代表输入...原创 2019-01-20 19:54:03 · 385 阅读 · 0 评论 -
白话RNN系列(六)
上文给出了一个LSTM使用的具体例子,但其中依旧存在一些东西说的不是很清楚明白,接下来,我们会针对LSTM使用中更加细致的一些东西,做一些介绍。本人目前使用的基本都是TensorFlow进行开发。lstm_cell = tf.nn.rnn_cell.LSTMCell(n_hidden, forget_bias=1.0, name='basic_lstm_cell')outputs, s...原创 2019-01-20 21:11:35 · 288 阅读 · 0 评论 -
白话RNN系列(七)
本文,探讨下LSTM的一些高级应用,比如双向LSTM。前面的探讨过程中, 我们使用到的RNN或者LSTM都是单向的,即按照时间顺序排列的一维序列;而在实际应用中,双向的RNN由于考虑到更充足的上下文,往往能起到更好的效果:Bi-RNN又叫双向RNN,是采用了两个方向的RNN网络。RNN网络擅长的是对于连续数据的处理,既然是连续的数据规律,我们不仅可以学习它的正向规律,还可以学习它的反向规...原创 2019-01-20 21:59:49 · 565 阅读 · 1 评论 -
tensorflow的部分函数汇总(非大全,保持更新)
写在前面:默认已经引入Tensorflow 和Numpy, 且形如:import numpy as npimport tensorflow as tf1.ones_likesess = tf.Session()ones_like = tf.ones_like([2, 3])print(sess.run(ones_like))其会根据传入的tensor的形状,生成个全...原创 2019-02-19 19:33:22 · 610 阅读 · 0 评论