tensorflow学习——循环神经网络

LSTM网络的每个“门”定义如下:

                          （输入值）

                    （输入门）

                     (遗忘门)

                   （输出门）

                                 （新状态）

                                        （输出）

通过代码说明LSTM单元的结构：

#LSTM结构的简单实现
#使用BasicLSTMCell()定义LSTM单元
lstm = tf.nn.rnn_cell.BasicLSTMCell(lstm_hidden_size)

#初始化LSTM单元使用zero_state函数
#state是一个包含两个张量的LSTMStateTuple了哦，state.c和state.h分别对应c状态和h状态
state = lstm.zero_state(batch_size,tf.float32)

#定义损失函数
loss = 0.0

for i in range(num_steps):
    #在第一个时刻声明LSTM结构中使用的变量，在之后的时刻都需要复用之前定义好的变量
    if i>0 :tf.get_variable_scope().reuse_variable()
     
    #current_input：当前输入
    #state：前一时刻的状态，包含（h_t-1）和（c_t-1）
    #lstm_output：当前时刻的输出（h_t），用于输出给其它层
    lstm_output,state = lstm(current_input,state)
    
    #将当前时刻LSTM结构的输出传入一个全连接层得到最后的输出
    final_output = fully_connected(lstm_output)
    
    #计算当前时刻输出的损失
    loss += calc_loss(final_output,expected_output)