LSTM网络的每个“门”定义如下:
(输入值)
(输入门)
(遗忘门)
(输出门)
(新状态)
(输出)
通过代码说明LSTM单元的结构:
#LSTM结构的简单实现
#使用BasicLSTMCell()定义LSTM单元
lstm = tf.nn.rnn_cell.BasicLSTMCell(lstm_hidden_size)
#初始化LSTM单元使用zero_state函数
#state是一个包含两个张量的LSTMStateTuple了哦,state.c和state.h分别对应c状态和h状态
state = lstm.zero_state(batch_size,tf.float32)
#定义损失函数
loss = 0.0
for i in range(num_steps):
#在第一个时刻声明LSTM结构中使用的变量,在之后的时刻都需要复用之前定义好的变量
if i>0 :tf.get_variable_scope().reuse_variable()
#current_input:当前输入
#state:前一时刻的状态,包含(h_t-1)和(c_t-1)
#lstm_output:当前时刻的输出(h_t),用于输出给其它层
lstm_output,state = lstm(current_input,state)
#将当前时刻LSTM结构的输出传入一个全连接层得到最后的输出
final_output = fully_connected(lstm_output)
#计算当前时刻输出的损失
loss += calc_loss(final_output,expected_output)