深度学习算法(第21期)----RNN中的Dropout技术

上期我们一起学习了如何训练RNN并预测时序信号，
深度学习算法(第20期)----创意RNN和深度RNN的简单实现
今天我们一起简单学习下RNN中的Dropout的实现。

前几期学过，我们知道在CNN中，为了防止过拟合，我们常用DropOut技术。同样，如果我们想创建一个很深的RNN网络，那么它很有可能会产生过拟合，在RNN中该怎样应用DropOut技术来防止过拟合呢？

我们可以简单的在RNN之前或之后加一个DropOut层，但是如果我们想在RNN层中间加上DropOut的话，就得用DropoutWrapper了。下面代码在每个RNN层的输入都应用Dropout，对每个输入有50%的概率丢弃。

keep_prob = 0.5

cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
cell_drop = tf.contrib.rnn.DropoutWrapper(cell, input_keep_prob=keep_prob)
multi_layer_cell = tf.contrib.rnn.MultiRNNCell([cell_drop] * n_layers)
rnn_outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)

当然，我们也可以通过设置output_keep_prob来对输出进行dropout。
其实，细心的童鞋可能已经发现，上面的代码是有问题的，因为我们在前面CNN中应用Dropout的时候是有一个is_training的placeholder来区分是在training还是testing应用的。但是上面代码并没有。确实，上面代码的最大问题就是在testing的时候，也会应用Dropout，当然，这并不是我们想要的。不幸的是，DropoutWrapper并不支持is_training的placeholder，因此，我们要么自己重写一个DropoutWapper类，要么我们有两个计算图，一个是用来training，另一个用来testing。这里我们看下两个计算图是怎么实现的，如下：

import sys
is_training = (sys.argv[-1] == "train")
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.float32, [None, n_steps, n_outputs])
cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
if is_training:
    cell = tf.contrib.rnn.DropoutWrapper(cell, input_keep_prob=keep_prob)
multi_layer_cell = tf.contrib.rnn.MultiRNNCell([cell] * n_layers)
rnn_outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)
[...] # build the rest of the graph
init = tf.global_variables_initializer()
saver = tf.train.Saver()
with tf.Session() as sess:
    if is_training:
        init.run()
        for iteration in range(n_iterations):
            [...] # train the model
        save_path = saver.save(sess, "/tmp/my_model.ckpt")
    else:
        saver.restore(sess, "/tmp/my_model.ckpt")
        [...] # use the model

好了，至此，今天我们简单学习了RNN中DropOut技术，希望有些收获，下期我们将一起学习下RNN中的LSTM模块，欢迎留言或进社区共同交流，喜欢的话，就点个“在看”吧，您也可以置顶公众号，第一时间接收最新内容。

---

智能算法，与您携手，沉淀自己，引领AI！