RNN和LSTM

如果想了解CNN，推荐     CNN     卷积神经网络（CNN）入门讲解 - 知乎

参考B站视频  李宏毅机器学习-RNN网络   和吴恩达

一、引出RNN

        假设出现下面两种情况，显然第一句中Taipei是目的地，第二句中是出发地。当输入都是Taipei时，我们的输出要么都是目的地的概率高，要么都是出发地的概率高，出现不了一个是出发地的概率高，一个是目的地的概率高。因此，我们希望神经网络能有记忆力，记得在第一句中看到Taipei之前，看到过arrive，在第二句在看到Taipei之前，看到过leave,就可以根据上下文判断出来是出发地还是目的地，产生不同的输出。由此引出了RNN。

 二、介绍RNN

        一个简单的循环神经网络如下，它由一个输入层，一个隐藏层，一个输出层组成。然后我们可以看到在Hidden Layer 有一个箭头表示数据的循环更新, 这就是RNN中的记忆功能实现。如下图，绿色的隐藏层输出会被存储到蓝色的记忆单元中即进行值的更新，初始的记忆单元一般为0向量。这个输出的产生也不仅仅要考虑输入，还要考虑记忆单元。

     

 Example

开始整个流程之前，需要构造将store置初始值，一般选择零向量。假定权重都为1，而且激活函数都是线性函数，也没哟偏置。如下图：

隐藏层输出（即绿色圆）：y11=1*1+0+1*1+0=2  同理y12=2

输出层： y21=2+2=4同理y22=4

我们