想问一下LSTM为啥不收敛

按照别人的代码写了一个三层的 LSTM的代码，输入为（-1，stpes，input）的形式，具体大小为（32，10，512），做动作识别的，但是网络的损失值一直为固定范围内的值大概是四点多，网络损失一直不下降，请问是哪里错了吗，下面是那部分的代码

n_hidden_units=128    # 隐藏层神经元数目
num_layers=3            # 双向lstm神经网络的层数
n_steps=10
n_inputs=512

vgg_output = tf.reshape(vgg_output,[-1,n_steps,n_inputs])

def unit_lstm():
    # 定义一层 LSTM_cell，只需要说明 hidden_size, 它会自动匹配输入的 X 的维度
    lstm_cell = tf.contrib.rnn.BasicLSTMCell(num_units=n_hidden_units, forget_bias=1.0, state_is_tuple=True)
    #添加 dropout layer, 一般只设置 output_keep_prob
    lstm_cell = tf.contrib.rnn.DropoutWrapper(cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=0.8)
    return lstm_cell
#调用 MultiRNNCell 来实现多层 LSTM
mlstm_cell = tf.contrib.rnn.MultiRNNCell([unit_lstm() for i in range(num_layers)], state_is_tuple=True)
outputs, state = tf.nn.dynamic_rnn(mls