前面我们介绍了情感分类问题,并利用SimpleRNN模型完成了情感分类问题的实战,在介绍完更为强大的LSTM和GRU网络后,我们将网络模型进行升级。得益于TensorFlow在循环神经网络相关接口的格式统一,在原来的代码基础上面只需要修改少量几处,便可以完美的升级到LSTM模型或GRU模型。
1. LSTM模型
首先是Cell方式。LSTM网络的状态List共有两个,需要分别初始化各层的 h \boldsymbol h h和 c \boldsymbol c c向量。例如:
# [b, 64],构建Cell初始化状态向量,重复使用
self.state0 = [tf.zeros([batchsz, units]),tf.zeros([batchsz, units])]
self.state1 = [tf.zeros([batchsz, units]),tf.zeros([batchsz, units])]
并将模型修改为LSTMCell模型。代码如下:
# 构建2个Cell
self.rnn_cell0 = layers.LSTMCell(units, dropout=0.5)
self.rnn_cell1 = layers.LSTMCell(units, dropout=0.5)
其它代码不需要修改即可运行。
对于层方式,只需要修改网络模型一处即可,修改如下:
# 构建RNN,换成LSTM即可
self.rnn = keras.Sequential([
layers.LSTM(units, dropout=0.5, return_sequences=True),
layers.LSTM(units, dropout=0.5)
])
2. GRU模型
首先是Cell方式。GRU的状态List只有一个,和基础RNN一样,只需要修改创建Cell的类型,代码如下:
# 构建2个Cell
self.rnn_cell0 = layers.GRUCell(units, dropout=0.5)
self.rnn_cell1 = layers.GRUCell(units, dropout=0.5)
对于层方式,修改网络层类型即可,代码如下:
# 构建RNN
self.rnn = keras.Sequential([
layers.GRU(units, dropout=0.5, return_sequences=True),
layers.GRU(units, dropout=0.5)
])