LSTM层中的dropout，recurrent_dropout

https://www.zhihu.com/question/304757225/answer/1152308274

 

作者：JeffryTu
链接：https://www.zhihu.com/question/304757225/answer/1152308274
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

下图是LSTM三种门的计算公式：

LSTM层中dropout表示上式中对 的dropout，recurrent_dropout表示对 的dropout

而Dropout层，以如下结构为例：

model.add(..)
model.add(LSTM(10))
model.add(Dropout(0.5))
model.add(Dense(1,activation='sigmoid'))

记LSTM的输出为  （10维，最后一个单元的隐藏状态），下一层Dense层的输出为y（1维），设 ，则这里的Dropout层表示对 进行概率为0.5的dropout

 

 

model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2))

第一个dropout是x和hidden之间的dropout

第二个是hidden-hidden之间的dropout