dropout的使用细节

two_layer_cell= BNLSTMCell(self.num_layer_one_units//2,training) #LSTMCell(hidden_size)
multi_layer_cell=tf.nn.rnn_cell.MultiRNNCell([one_layer_cell,two_layer_cell])

multi_layer_cell=tf.nn.rnn_cell.DropoutWrapper(multi_layer_cell,output_keep_prob=self.keep_prob)#0.5

然而在以上代码中存在的主要问题是，Dropout 不管是在训练还是测试时都起作用了，而我们想要的仅仅是在训练时应用 Dropout。

很不幸的是DropoutWrapper不支持is_training这样一个设置选项。因此必须自己写 Dropout 包装类，或者创建两个计算图，一个用来训练，一个用来测试。后则可通过如下面代码这样实现

可以设置一个外部参数来控制

if training==True:#在我的代码中if是错的，需要用到tf.cond才可以

    multi_layer_cell=tf.nn.rnn_cell.DropoutWrapper(multi_layer_cell,output_keep_prob=self.keep_prob)

它有input_keep_prob和output_keep_prob，也就是说裹上这个DropoutWrapper之后，如果我希望是input传入这个cell时dropout掉一部分input信息的话，就设置input_keep_prob，那么传入到cell的就是部分input；如果我希望这个cell的output只部分作为下一层cell的input的话，就定义output_keep_prob。 
备注：Dropout只能是层与层之间（输入层与LSTM1层、LSTM1层与LSTM2层）的Dropout；同一个层里面，T时刻与T+1时刻是不会Dropout的