这是你的RNN

   图图告诉你RNN           

首先，RNN是用来解决有时间序列问题的，考虑上下文联系的神经网络。               

                                       

           

                                                     

 

所以说网络需要记忆，上一个单词应该要对下一个单词的输出产生影响，于是RNN网络横空出世，下图的a1和a2就是RNN的主要特点，能够储存上一次的输出值。

                                                         

 

我们来看看RNN是这么运作的，为了方便，不妨假设所有的权重为1，并且每个单元都没有偏置，记忆池a1和a2的初始值都为0；

                                                          

第一步：当输入的变量为[1,1]时，

                                                    

第二次输入[1,1]时，

                                                   

第三次输入[2,2]时，

                                                  

                       

这就很好解决了一开始的问题，arrive Taipei 和leave Taibei 是不一样的输出。

                         

当然，RNN也可以采取双向的，这样的好处是：当输出一个单词的概率时，已经考虑了前后的所有单词

                                

请问到这里，能够理解RNN的工作架构了吗？如果理解了，继续看下面内容，其实呀，前面的讲的记忆池是最简单的方式，下面讲讲一个特例的记忆方法，long-short term memory(LSTM),说白了，就是这次的是否记忆，是否输出记忆和是否遗忘记忆都有专门的信息来把控（可以比喻成在门口设置了保安，不是像之前那样可以随随便便进进出出了）

                                   

 

 

人体LSTM

       

 

                                                                                

 

最后的最后，如果你没有看懂的话，可以去看看视频，李宏毅老师讲得非常好！！！！

李宏毅老师的深度学习课程