LSTM神经网络知识---资源整理

(1) 简单理解LSTM神经网络

首先推荐看一遍火贪三刀的博客，解释浅显易懂。简单总结下：

1）递归神经网络Recurrent Neural Networks（RNNs）：当前时刻的输出，不仅与当前时刻的输入有关，与上一时刻的输出也有关，所有的递归神经网络都是由重复神经网络模块构成的一条链，该重复模块通常是一个单tanh层，通过当前输入及上一时刻的输出来得到当前输出。

2）Long Short Term Mermory network（LSTM）是一种特殊的RNNs，重复的单元不用，该重复的单元被称为memory block（记忆块），主要包含了三个门（forget gate、input gate、output gate）与一个记忆单元（cell）。方框内上方的那条水平线，被称为cell state（单元状态），它就像一个传送带，可以控制信息传递给下一时刻

3）主要的六个公式：

(2) 对上面博客的补充

摘录如下：   

作者：lonlon ago
链接：https://www.zhihu.com/question/41949741/answer/309529532
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 

另外几个需要注意的地方：

1） cell 的状态是一个向量，是有多个值的。。。一开始没有理解这点的时候怎么都想不明白

2） 上一次的状态 h(t-1)是怎么和下一次的输入 x(t) 结合（concat）起来的，这也是很多资料没有明白讲的地方，也很简单，concat， 直白的说就是把二者直接拼起来，比如 x是28位的向量，h(t-1)是128位的，那么拼起来就是156位的向量，就是这么简单。。

3） cell 的权重是共享的，这是什么意思呢？这是指这张图片上有三个绿色的大框，代表三个 cell 对吧，但是实际上，它只是代表了一个 cell 在不同时序时候的状态，所有的数据只会通过一个 cell，然后不断更新它的权重。

4）那么一层的 LSTM 的参数有多少个？根据第 3 点的说明，我们知道参数的数量是由 cell 的数量决定的，这里只有一个 cell，所以参数的数量就是这个 cell 里面用到的参数个数。假设 num_units 是128，输入是28位的，那么根据上面的第 2 点，可以得到，四个小黄框的参数一共有 （128+28）*（128*4），也就是156 * 512，可以看看 TensorFlow 的最简单的 LSTM 的案例，中间层的参数就是这样，不过还要加上输出的时候的激活函数的参数，假设是10个类的话，就是128*10的 W 参数和10个bias 参数

5）cell 最上面的一条线的状态即 s(t) 代表了长时记忆，而下面的 h(t)则代表了工作记忆或短时记忆

暂时这么多。

个人补充：

6）对递归神经网络RNN的补充，注意每个绿色cell输出和输入到下一个cell的值一样。

7）每个num_units，LSTM网络都可以将它看作是一个标准的LSTM单元：

(3) 论文参考https://arxiv.org/pdf/1402.1128v1.pdf

(4) https://m.aliyun.com/yunqi/articles/202939?tk=nwzLFAxyonH%2BvDsFcz9mKUntp%2B0KR9212pFWMTksy7w%3D

mnist 图像手写字体识别，解释很清楚。

(5) 了解tensorflow中RNN/LSTM中变量代表什么

(6) 利用LSTM解决手写字体识别问题

(7) LSTM tensorflow实现