Keras关于LSTM的units参数

这个问题也困扰了我很久，后来终于明白了，很多资料都没有在这个地方做详细的解释，那就是LSTM的小区里面的num_units该怎么理解，其实也是很简单，看看下图：

可以看到中间的cell里面有四个黄色小框，你如果理解了那个代表的含义一切就明白了，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1,2,4的激活函数是sigmoid，第三个的激活函数是tanh。

 

另外几个需要注意的地方：

1，cell的状态是一个向量，是有多个值的...一开始没有理解这点的时候怎么都想不明白

2，上一次的状态h（t-1）是怎么和下一次的输入x（t）结合（concat）起来的，这也是很多资料没有明白讲的地方，也很简单，concat，直白的说就是把二者直接拼起来，比如 x是28位的向量，h（t-1）是128位的，那么拼起来就是156位的向量，就是这么简单..

3，cell的权重是共享的，这是什么意思呢？这是指这张图片上有三个绿色的大框，代表三个单元对吧，但是实际上，它只是代表了一个单元在不同时序时候的状态，所有的数据只会通过一个单元，然后不断更新它的权重。

4，那么一层的LSTM的参数有多少个？根据第3点的说明，我们知道参数的数量是由cell的数量决定的，这里只有一个单元，所以参数的数量就是这个单元里面用到的参数个数。假设num_units是128，输入是28位的，那么根据上面的第2点，可以得到，四个小黄框的参数一共有（128 + 28）*（128 * 4），也就是156 * 512，可以看看TensorFlow的最简单的LSTM的案例，中间层的参数就是这样，不过还要加上输出的时候的激活函数的参数，假设是10个类的话，就是128 * 10的W参数和10个偏差参数

5，cell最上面的一条线的状态即s（t）代表了长时记忆，而下面的h（t）则代表了工作记忆或短时记忆