Tensorflow中的RNN以及LSTM

先了解RNN：

每个RNNCell都有一个call方法，使用方式是：(output, next_state) = call(input, state)。每调用一次RNNCell的call方法，就相当于在时间上“推进了一步”，这就是RNNCell的基本功能。

import tensorflow as tf

import numpy as np

cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128) # state_size = 128

print(cell.state_size) # 128

inputs = tf.placeholder(np.float32, shape=(32, 128)) # 32 是 batch_size

h0 = cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态，形状为(batch_size, state_size)

output, h1 = cell.call(inputs, h0) #调用call函数，我所理解的输出维度应该为[batch_size,  state_size]，当然后面还会有输出层。

print(h1.shape) # (32, 128)

在代码实现上，RNNCell只是一个抽象类，我们用的时候都是用的它的两个子类BasicRNNCell和BasicLSTMCell。顾名思义，前者是RNN的基础类，后者是LSTM的基础类。

除了call方法外，对于RNNCell，还有两个类属性比较重要：state_size、output_size。前者是隐层的大小，后者是输出的大小。比如我们通常是将一个batch送入模型计算，设输入数据的形状为(batch_size, input_size)，那么计算时得到的隐层状态就是(batch_size, state_size)，输出就是(batch_size, output_size)。

对于BasicLSTMCell，情况有些许不同，因为LSTM可以看做有两个隐状态h和c，(此处可参见LSTM的结构)对应的隐层就是一个Tuple，每个都是(batch_size, state_size)的形状。

import tensorflow as tf

import numpy as np

lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=128)

inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size

h0 = lstm_cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态

output, h1 = lstm_cell.call(inputs, h0)

print(h1.h)  # shape=(32, 128)，  PS：这里维度为什么和c一样？

print(h1.c)  # shape=(32, 128)

执行多步：使用tf.nn.dynamic_rnn函数。调用方式：

#inputs: shape = (batch_size, time_steps, input_size)

#cell: RNNCell

# initial_state: shape = (batch_size, cell.state_size)。初始状态。一般可以取零矩阵

outputs, state = tf.nn.dynamic_rnn(cell, inputs, initial_state=initial_state)

得到的outputs就是time_steps步里所有的输出。它的形状为(batch_size, time_steps, cell.output_size)。state是最后一步的隐状态，它的形状为(batch_size, cell.state_size)。cell.state_size也即隐藏层的大小。（这里关于隐藏层状态的个数和时间步没有关系？不太明白）

堆叠RNNCell：MultiRNNCell

将x输入第一层RNN的后得到隐层状态h，这个隐层状态就相当于第二层RNN的输入，第二层RNN的隐层状态又相当于第三层RNN的输入，以此类推。在TensorFlow中，可以使用tf.nn.rnn_cell.MultiRNNCell函数对RNNCell进行堆叠，相应的示例程序如下：

import tensorflow as tf
import numpy as np
num_layers = 2
rnn_cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128)
# 得到的cell实际也是RNNCell的子类
mutil_rnn_cell = tf.nn.rnn_cell.MultiRNNCell([rnn_cell]*num_layers)
# 它的state_size是(128, 128)
print(mutil_rnn_cell.state_size) # (128, 128)并不是128x128的意思,而是表示共有2个隐层状态，每个隐层状态的大小为128
input = tf.placeholder(dtype=np.float32, shape=[32, 128])
h0 = mutil_rnn_cell.zero_state(batch_size=32, dtype=np.float32)
output, h1 = mutil_rnn_cell.call(input, h0)
print(output.shape) #（32， 128）
print(h1)  # tuple中含有2个32x128的向量