lstm的dropout机制

model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2))

model.add(Dropout(0.5))

1.  第一个dropout是输入层x和hidden之间的dropout，控制输入线性变换的神经元断开比例
2.  第二个recurrent_dropout是hidden-hidden之间的dropout（循环层之间），控制循环状态的线性变换的神经元断开比例
3. 第三个Dropout是在层之间加入dropout层,是层与层之间的dropout

• 1，2两个dropout都是针对该层的LSTM设置的 
• dropout表示对W x 的dropout，recurrent_dropout表示对W h

model.add(LSTM(10))
model.add(Dropout(0.5))
model.add(Dense(1,activation='sigmoid'))

• ​记LSTM的输出为  hT（10维，最后一个单元的隐藏状态），下一层Dense层的输出为y=Why*HT（1维），设  ，则这里的Dropout层表示对  Why进行概率为0.5的dropout