tensorflow-代码-循环神经网络（RNN）

tensorflow 学习之路 九：LSTM实现手写数字识别

同样以手写数字识别为例，学习下循环神经网络tensorflow代码的使用：

这里使用LSTM作为RNN的一个例子。

1.首先先介绍下参数，不同于前面的传统神经网络结构中需要将图片扁平化处理，将28×28的图片变成1×784的步骤，在LSTM中，如果是28×28的图片，就是28行，28列，每次输入的是一行，一张图片就需要28次的输入，完成一张图片的输入，在参数定义的时候像下面这样：（如果是对语音文件的处理，输入的是MFCC特征，这个时候，max_time就是最大分帧数量）

#输入图片是28*28
n_inputs = 28 #输入一行，一行有28个数据
max_time = 28#一共28行
lstm_size = 100#隐层单元
n_classes = 10 #10个分类
batch_size = 50 #每批次50个样本

2.接下来定义下网络中的权值和偏置值，这里有些传统神经网络的意思。上面的参数中定义了100个隐藏单元，分类结果是10个（输出单元为10），下代码中，设置了100×10的权值矩阵，因为输出为10个结果，所以偏置值为10

weight = tf.Variable(tf.truncated_normal([lstm_size,n_classes],stddev=0.1))
biase = tf.Variable(tf.constant(0.1,shape=[n_classes]))

3.下面就是最关键的LSTM模块的定义：

    x：输入的图片矩阵                          weight：权值矩阵                               biase：偏置值

   上面1.中介绍了输入的方式，28×28图片每行一次的进行输入，所以，首先将输入的矩阵reshape，-1表示batch数量定义多少就是多少，max_time,n_inputs上面参数中已经说过。

    final_state[1]：hidden_cell

    return 后的results就是对应每个分类结果的概率，后面的步骤与前面的几篇文章相同，进行预测准确率的。

#定义RNN
def RNN(X,weight,biase):
    inputs = tf.reshape(X,[-1,max_time,n_inputs])
    #定义LSTM基本CELL
    lstm_cell = rnn.BasicLSTMCell(lstm_size)
    outputs,final_state = tf.nn.dynamic_rnn(lstm_cell,inputs,dtype=tf.float32)
    results = tf.nn.softmax(tf.matmul(final_state[1],weight)+biase)
    return results

个人简单不准确的理解下，RNN 这个层就是相对复杂的包含100个神经元的隐藏层。其他部分和传统神经网络相同。

完整代码：

import tensorflow as tf
from tensorflow.contrib import rnn
from tensorflow.examples.tutorials.mnist import input_data

#载入数据
mnist = input_data.read_data_sets("MNIST_data",one_hot=True,source_url=
'http://yann.lecun.com/exdb/mnist/')

#输入图片是28*28
n_inputs = 28 #输入一行，一行有28个数据
max_time = 28#一共28行
lstm_size = 100#隐层单元
n_classes = 10 #10个分类
batch_size = 50 #每批次50个样本
n_batch = mnist.train.num_examples // batch_size #计算一共有多少批次

# 定义两个placeholder
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])
#
weight = tf.Variable(tf.truncated_normal([lstm_size,n_classes],stddev=0.1))
biase = tf.Variable(tf.constant(0.1,shape=[n_classes]))

#定义RNN
def RNN(X,weight,biase):
    inputs = tf.reshape(X,[-1,max_time,n_inputs])
    #定义LSTM基本CELL
    lstm_cell = rnn.BasicLSTMCell(lstm_size)
    outputs,final_state = tf.nn.dynamic_rnn(lstm_cell,inputs,dtype=tf.float32)
    results = tf.nn.softmax(tf.matmul(final_state[1],weight)+biase)
    return results
#RNN的返回结果
prediction = RNN(x,weight,biase)
#损失函数
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=prediction,labels=y))
#使用AdmOptimizer优化
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
# 结果存放在一个bool列表中
correct_prediction = tf.equal(tf.argmax(prediction, 1), tf.argmax(y, 1))

# 求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(6):
        for batch in range(n_batch):
            batch_x,batch_y = mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_x,y:batch_y})
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("Iter  "+str(epoch) + "Testing Accuracy=" + str(acc))