pytorch LSTM的dropout参数

pytorch的LSTM及RNN的dropout不会对每个time step进行dropout，只对一层的输出设置了dropout。
在新版本的pytorch中，对于1层的lstm，dropout参数无效了，就说明对每个时间步是不dropout的。

源码中，如果指定了drop!=0的话，每一层的LSTM输出cat后又加的dropout，最后一层的输出没有加dropout。如果模型有三层LSTM，则第一层、第二层LSTM的输出后加入了dropout，第三层的输出后没有加dropout。当然如果模型只有一层的LSTM的话，它的输出后是没有加入dropout的。

for i in range(num_layers):
	all_output = []
	for j, inner in enumerate(inners):
	    l = i * num_directions + j
	
	    hy, output = inner(input, hidden[l], weight[l], batch_sizes)
	    next_hidden.append(hy)
	    all_output.append(output)
	
	input = torch.cat(all_output, input.dim() - 1)
	
	if dropout != 0 and i < num_layers - 1:
	    input = F.dropout(input, p=dropout, training=train, inplace=False)

https://discuss.pytorch.org/t/dropout-in-lstm/7784